Mercury 2.5 (high) vs Step 3.7 Flash (low)

Step 3.7 Flash (low) average score मध्ये पुढे आहे: 7.2 vs 6.5. Mercury 2.5 (high) चा benchmark खर्च कमी आहे: $0.044 vs $0.449. Mercury 2.5 (high) वेगवान आहे: 7.62s vs 20.72s, pass rates 59.4% vs 63.8%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-24

तुलना केलेली मॉडेल्स

क्रमांक: #234
एकूण आउटपुट टोकन्स: 193,676
प्रतिसाद वेळ (सरासरी): 7.62s
एकूण खर्च: $0.044

क्रमांक: #179
एकूण आउटपुट टोकन्स: 339,108
प्रतिसाद वेळ (सरासरी): 20.72s
एकूण खर्च: $0.449

शिफारस केलेले मॉडेल Mercury 2.5 (high)

Its score stays close to the best score here (6.5 vs 7.2), while costing about 10.3x less than Step 3.7 Flash (low).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Mercury 2.5 high प्रकाशन: 2026-09-08	Step 3.7 Flash Step 3.7 Flash low प्रकाशन: 2026-05-29

मेट्रिक	Mercury 2.5 Mercury 2.5 high प्रकाशन: 2026-09-08	Step 3.7 Flash Step 3.7 Flash low प्रकाशन: 2026-05-29
स्कोअर	6.5	7.2
क्रमांक	#234	#179
विश्वसनीयता	9.8	10.0
सुसंगतता	8.7	7.9
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	59.4%	63.8%
अस्थिर चाचण्या	4	6
एकूण रन	69	69
प्रति निकाल खर्च	0.362	4.078
एकूण खर्च	$0.044	$0.449
इनपुट किंमत	$0.040 / 1M	$0.200 / 1M
आउटपुट किंमत	$0.150 / 1M	$1.150 / 1M
कॅश वाचण्याची किंमत	$0.004 / 1M	$0.040 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	358,562	292,685
आउटपुट टोकन्स	4,266	339,108
रिझनिंग टोकन्स	189,410	0
प्रतिसाद वेळ (सरासरी)	7.62s	20.72s
प्रतिसाद वेळ (कमाल)	80.30s	124.75s
प्रतिसाद वेळ (एकूण)	175.36s	476.67s
पॅरामीटर्स	~100B	198B एकूण (11B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#234 Mercury 2.5

high

खर्च: $0.001
वेळ: 3.5s
टोकन्स: 2,447 tok

#179 Step 3.7 Flash

low

अवैध SVG

खर्च: $0.004
वेळ: 25.3s
टोकन्स: 3,072 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.9	9.6	0.0%	0		80.30s	238,494	864	18,265
Step 3.7 Flash	7.4	3.8	66.7%	1		83.63s	188,843	18,715	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		1.33s	782	218	7,913
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	7.8	44.4%	1		6.58s	7,757	415	44,012
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	5.8	66.7%	1		16.00s	91,255	1,478	62,200
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.08s	8,355	557	9,430
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	2.9	7.2	11.1%	1		4.86s	857	78	22,452
Step 3.7 Flash	2.9	7.2	11.1%	1		22.65s	837	48,299	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.0	10.0	0.0%	0		2.69s	528	93	3,609
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.5	10.0	50.0%	0		934ms	401	27	1,770
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	8.7	7.7	88.9%	1		1.39s	771	227	5,812
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.06s	9,130	283	4,484
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.0	10.0	0.0%	0		5.48s	232	26	9,463
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

तुलना जोडी बदला

Mercury 2.5highvsBeam 1.0 501B A23Bxhigh Step 3.7 FlashlowvsGLM 5medium LongCat 2.0mediumvsStep 3.7 Flashlow Mercury 2.5highvsGLM 5.3low Qwen3.6 27BmediumvsStep 3.7 Flashlow Mercury 2.5highvsQwen3.6 35B A3Bmedium Mercury 2.5highvsGLM 5.1none Qwen3.7 FlashhighvsStep 3.7 Flashlow Claude Opus 5nonevsStep 3.7 Flashlow Claude Sonnet 5.5mediumvsMercury 2.5high Mercury 2.5highvsGrok 4.3medium Mercury 2.5highvsLaguna XS 2.1mediumमोफत उपलब्ध