Mercury 2.5 (medium) vs Step 3.7 Flash (high)

Step 3.7 Flash (high) average score मध्ये पुढे आहे: 6.8 vs 6.8. Mercury 2.5 (medium) चा benchmark खर्च कमी आहे: $0.022 vs $1.229. Mercury 2.5 (medium) वेगवान आहे: 3.19s vs 70.10s, pass rates 65.2% vs 60.6%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-09-08

तुलना केलेली मॉडेल्स

क्रमांक: #157
एकूण आउटपुट टोकन्स: 120,129
प्रतिसाद वेळ (सरासरी): 3.19s
एकूण खर्च: $0.022

क्रमांक: #150
एकूण आउटपुट टोकन्स: 1,050,900
प्रतिसाद वेळ (सरासरी): 70.10s
एकूण खर्च: $1.229

शिफारस केलेले मॉडेल Mercury 2.5 (medium)

Its score stays close to the best score here (6.8 vs 6.8), while costing about 56.7x less than Step 3.7 Flash (high).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Mercury 2.5 medium प्रकाशन: 2026-09-08	Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29

मेट्रिक	Mercury 2.5 Mercury 2.5 medium प्रकाशन: 2026-09-08	Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29
स्कोअर	6.8	6.8
क्रमांक	#157	#150
विश्वसनीयता	9.8	10.0
सुसंगतता	8.6	8.4
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	65.2%	60.6%
अस्थिर चाचण्या	4	4
एकूण रन	66	66
प्रति निकाल खर्च	0.181	11.167
एकूण खर्च	$0.022	$1.229
इनपुट किंमत	$0.040 / 1M	$0.200 / 1M
आउटपुट किंमत	$0.150 / 1M	$1.150 / 1M
एकूण इनपुट टोकन्स	91,402	98,700
आउटपुट टोकन्स	3,138	1,050,900
रिझनिंग टोकन्स	116,991	0
प्रतिसाद वेळ (सरासरी)	3.19s	70.10s
प्रतिसाद वेळ (कमाल)	9.87s	364.99s
प्रतिसाद वेळ (एकूण)	70.18s	1542.14s
पॅरामीटर्स	~100B	198B एकूण (11B सक्रिय)
उपलब्धता	बंद स्रोत	मुक्त स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#157 Mercury 2.5

medium

खर्च: $0.001
वेळ: 3.8s
टोकन्स: 3,386 tok

#150 Step 3.7 Flash

high

खर्च: $0.007
वेळ: 63.6s
टोकन्स: 6,030 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		1.28s	773	192	7,122
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.0	5.1	44.5%	2		3.70s	7,807	488	21,857
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.5	10.0	50.0%	0		9.23s	62,336	1,073	34,370
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		2.57s	8,385	582	9,343
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.6	7.2	22.2%	1		4.39s	852	59	19,837
Step 3.7 Flash	3.6	7.2	22.2%	1		189.35s	792	429,007	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	4.4	9.9	0.0%	0		1.60s	528	98	2,364
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	6.0	66.7%	1		1.07s	520	55	2,344
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		1.93s	766	290	7,721
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.35s	9,203	269	4,641
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.0	10.0	0.0%	0		4.30s	232	32	7,392
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

झटपट तुलना

तुलना जोडी बदला

Gemini 3 Flash PreviewnonevsMercury 2.5medium Seed-2.0-CodemediumvsStep 3.7 Flashhigh Mercury 2.5mediumvsGLM 5.3low Qwen3.6 FlashmediumvsStep 3.7 Flashhigh Mercury 2.5mediumvsGLM 5.2none Step 3.7 FlashhighvsSolar Pro 4low Mercury 2.5mediumvsKAT-Coder-Pro V2.5none DeepSeek V4 PrononevsMercury 2.5medium Gemini 3.5 FlashnonevsStep 3.7 Flashhigh Step 3.7 FlashhighvsSolar Pro 4medium DeepSeek V4 PrononevsStep 3.7 Flashhigh Mercury 2.5mediumvsSolar Pro 4low