Claude Opus 4.8 vs Mercury 2.5 Preview (medium)

average score जवळपास समान आहे: 6.9 vs 6.8. Mercury 2.5 Preview (medium) चा benchmark खर्च कमी आहे: $0.037 vs $2.334. Mercury 2.5 Preview (medium) वेगवान आहे: 6.66s vs 7.54s, pass rates 60.9% vs 66.7%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #167
एकूण आउटपुट टोकन्स: 24,343
प्रतिसाद वेळ (सरासरी): 7.54s
एकूण खर्च: $2.334

क्रमांक: #171
एकूण आउटपुट टोकन्स: 150,107
प्रतिसाद वेळ (सरासरी): 6.66s
एकूण खर्च: $0.037

शिफारस केलेले मॉडेल Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 63.8x less than Claude Opus 4.8.

तपशीलवार तुलना

मेट्रिक	Claude Opus 4.8 Claude Opus 4.8 none प्रकाशन: 2026-05-28	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02

मेट्रिक	Claude Opus 4.8 Claude Opus 4.8 none प्रकाशन: 2026-05-28	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02
स्कोअर	6.9	6.8
क्रमांक	#167	#171
विश्वसनीयता	10.0	10.0
सुसंगतता	9.3	9.6
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	60.9%	66.7%
अस्थिर चाचण्या	2	1
एकूण रन	69	69
प्रति निकाल खर्च	17.953	0.244
एकूण खर्च	$2.334	$0.037
इनपुट किंमत	$5.000 / 1M	$0.000 / 1M
आउटपुट किंमत	$25.000 / 1M	$0.000 / 1M
एकूण इनपुट टोकन्स	345,059	397,291
आउटपुट टोकन्स	24,343	6,355
रिझनिंग टोकन्स	0	143,752
प्रतिसाद वेळ (सरासरी)	7.54s	6.66s
प्रतिसाद वेळ (कमाल)	65.07s	74.63s
प्रतिसाद वेळ (एकूण)	173.31s	153.29s
पॅरामीटर्स	~5T एकूण (~500B सक्रिय)	~100B
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#167 Claude Opus 4.8

none

खर्च: $0.053
वेळ: 22.0s
टोकन्स: 2,253 tok

#171 Mercury 2.5 Preview

medium

खर्च: $0.001
वेळ: 2.7s
टोकन्स: 2,241 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	5.0	10.0	0.0%	0		65.07s	195,856	7,546	0
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	9.8	10.0	100.0%	0		26.38s	111,760	11,949	0
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	5.3	7.2	44.4%	1		1.76s	972	61	0
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804

झटपट तुलना

तुलना जोडी बदला

Mercury 2.5 PreviewmediumvsInklinglowमोफत उपलब्ध Claude Opus 4.8nonevsGPT-5.6 Lunalow Claude Opus 4.8nonevsGemma 4 31Bmediumमोफत उपलब्ध Mercury 2.5 PreviewmediumvsGPT-6 Solnone Claude Opus 4.8nonevsEmber-1high Claude Opus 4.8nonevsKimi K2.6medium Claude Opus 4.8nonevsGemini 3.1 Flash Litemedium Claude Opus 4.8nonevsQwen3.5-Flashmedium Claude Opus 4.8nonevsInklinglowमोफत उपलब्ध Claude Sonnet 5.5lowvsMercury 2.5 Previewmedium Mercury 2.5 PreviewmediumvsGPT-5.6 Lunalow Ember-1highvsMercury 2.5 Previewmedium