Claude Sonnet 5.5 (low) vs Mercury 2.5 Preview (medium)

average score जवळपास समान आहे: 6.9 vs 6.8. Mercury 2.5 Preview (medium) चा benchmark खर्च कमी आहे: $0.037 vs $0.909. Mercury 2.5 Preview (medium) वेगवान आहे: 6.66s vs 7.46s, pass rates 46.4% vs 66.7%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #166
एकूण आउटपुट टोकन्स: 32,443
प्रतिसाद वेळ (सरासरी): 7.46s
एकूण खर्च: $0.909

क्रमांक: #171
एकूण आउटपुट टोकन्स: 150,107
प्रतिसाद वेळ (सरासरी): 6.66s
एकूण खर्च: $0.037

शिफारस केलेले मॉडेल Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 24.8x less than Claude Sonnet 5.5 (low).

तपशीलवार तुलना

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 low प्रकाशन: 2026-09-29	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02

मेट्रिक	Claude Sonnet 5.5 Claude Sonnet 5.5 low प्रकाशन: 2026-09-29	Mercury 2.5 Preview Mercury 2.5 Preview medium प्रकाशन: 2026-09-02
स्कोअर	6.9	6.8
क्रमांक	#166	#171
विश्वसनीयता	10.0	10.0
सुसंगतता	9.4	9.6
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	46.4%	66.7%
अस्थिर चाचण्या	2	1
एकूण रन	69	69
प्रति निकाल खर्च	9.082	0.244
एकूण खर्च	$0.909	$0.037
इनपुट किंमत	$2.000 / 1M	$0.000 / 1M
आउटपुट किंमत	$10.000 / 1M	$0.000 / 1M
एकूण इनपुट टोकन्स	291,853	397,291
आउटपुट टोकन्स	24,116	6,355
रिझनिंग टोकन्स	8,327	143,752
प्रतिसाद वेळ (सरासरी)	7.46s	6.66s
प्रतिसाद वेळ (कमाल)	46.61s	74.63s
प्रतिसाद वेळ (एकूण)	171.47s	153.29s
पॅरामीटर्स	~1T एकूण (~100B सक्रिय)	~100B
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#166 Claude Sonnet 5.5

low

खर्च: $0.020
वेळ: 15.3s
टोकन्स: 2,077 tok

#171 Mercury 2.5 Preview

medium

खर्च: $0.001
वेळ: 2.7s
टोकन्स: 2,241 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		46.61s	125,435	2,660	1,153
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.5	10.0	50.0%	0		2.55s	858	1,736	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.2	9.7	0.0%	0		5.81s	10,608	5,903	0
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	7.9	6.9	66.7%	1		22.50s	128,879	7,220	4,027
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		2.31s	10,515	312	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		8.09s	990	3,974	2,570
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	4.8	3.2	33.3%	1		2.33s	714	374	0
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	6.3	10.0	50.0%	0		1.91s	921	357	0
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	7.7	10.0	66.7%	0		2.50s	912	892	0
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	10.0	10.0	100.0%	0		4.67s	11,757	354	0
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Sonnet 5.5	3.0	10.0	0.0%	0		4.97s	264	334	577
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804

झटपट तुलना

तुलना जोडी बदला

Mercury 2.5 PreviewmediumvsInklinglowमोफत उपलब्ध Claude Sonnet 5.5lowvsGemma 4 31Bmediumमोफत उपलब्ध Mercury 2.5 PreviewmediumvsGPT-6 Solnone Claude Sonnet 5.5lowvsEmber-1high Claude Sonnet 5.5lowvsKimi K2.6medium Claude Sonnet 5.5lowvsGemini 3.1 Flash Litemedium Claude Sonnet 5.5lowvsQwen3.5-Flashmedium Claude Opus 4.8nonevsMercury 2.5 Previewmedium Mercury 2.5 PreviewmediumvsGPT-5.6 Lunalow Claude Sonnet 5.5lowvsGPT-6 Solnone Ember-1highvsMercury 2.5 Previewmedium Mercury 2.5 PreviewmediumvsSpace Bunny Alphamax