Claude Opus 4.8 vs Mercury 2.5 Preview (medium)

موازنہ کیے گئے ماڈلز

تجویز کردہ ماڈل Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 63.8x less than Claude Opus 4.8.

میٹرک	Claude Opus 4.8 Claude Opus 4.8 none اجرا: 2026-05-28	Mercury 2.5 Preview Mercury 2.5 Preview medium اجرا: 2026-09-02

میٹرک	Claude Opus 4.8 Claude Opus 4.8 none اجرا: 2026-05-28	Mercury 2.5 Preview Mercury 2.5 Preview medium اجرا: 2026-09-02
اسکور	6.9	6.8
درجہ	#167	#171
اعتماد پذیری	10.0	10.0
تسلسل	9.3	9.6
کوششیں	69/69	69/69
درست ٹیسٹس
فی کوشش کامیابی کی شرح	60.9%	66.7%
غیر مستحکم ٹیسٹ	2	1
کل رنز	69	69
فی نتیجہ لاگت	17.953	0.244
کل لاگت	$2.334	$0.037
ان پٹ قیمت	$5.000 / 1M	$0.000 / 1M
آؤٹ پٹ قیمت	$25.000 / 1M	$0.000 / 1M
کل ان پٹ ٹوکنز	345,059	397,291
آؤٹ پٹ ٹوکنز	24,343	6,355
ریزننگ ٹوکنز	0	143,752
ردِعمل کا وقت (اوسط)	7.54s	6.66s
ردِعمل کا وقت (زیادہ سے زیادہ)	65.07s	74.63s
ردِعمل کا وقت (کل)	173.31s	153.29s
پیرامیٹرز	~5T کل (~500B فعال)	~100B
دستیابی	بند ماخذ	بند ماخذ

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

none

medium

زمرہ:

خودمختار ایجنٹ کے کام	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	5.0	10.0	0.0%	0		65.07s	195,856	7,546	0
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154

اینٹی اے آئی چالیں	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921

کوڈنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126

مشترکہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	9.8	10.0	100.0%	0		26.38s	111,760	11,949	0
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588

ڈیٹا پارسنگ اور استخراج	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354

ڈومین مخصوص	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	5.3	7.2	44.4%	1		1.76s	972	61	0
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120

عمومی ذہانت	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375

ہدایات کی پیروی	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987

پہیلی حل کرنا	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323

ٹول کالنگ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0

معلومات عامہ	اسکور	تسلسل	فی کوشش کامیابی کی شرح	غیر مستحکم ٹیسٹ	درست ٹیسٹس	ردِعمل کا وقت (اوسط)	ان پٹ ٹوکنز	آؤٹ پٹ ٹوکنز	ریزننگ ٹوکنز
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804

موازنہ کی جوڑی تبدیل کریں