नेविगेशन
Advertise here

Mercury 2.5 (medium) vs Step 3.7 Flash (high)

Step 3.7 Flash (high) average score में आगे है: 6.8 vs 6.8. Mercury 2.5 (medium) की benchmark लागत कम है: $0.022 vs $1.229. Mercury 2.5 (medium) तेज है: 3.19s vs 70.10s, pass rates 65.2% vs 60.6%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-09-08

तुलना किए गए मॉडल

रैंक
#157
कुल आउटपुट टोकन
120,129
प्रतिक्रिया समय (औसत)
3.19s
कुल लागत
$0.022
रैंक
#150
कुल आउटपुट टोकन
1,050,900
प्रतिक्रिया समय (औसत)
70.10s
कुल लागत
$1.229
अनुशंसित मॉडल Mercury 2.5 (medium)

Its score stays close to the best score here (6.8 vs 6.8), while costing about 56.7x less than Step 3.7 Flash (high).

विस्तृत तुलना

मेट्रिक Mercury 2.5 Mercury 2.5 medium रिलीज़: 2026-09-08 Step 3.7 Flash Step 3.7 Flash high रिलीज़: 2026-05-29
स्कोर 6.8 6.8
रैंक #157 #150
विश्वसनीयता 9.8 10.0
संगति 8.6 8.4
प्रयास 66/66 66/66
सही परीक्षण
प्रति प्रयास पास दर 65.2% 60.6%
अस्थिर टेस्ट 4 4
कुल रन 66 66
प्रति परिणाम लागत 0.181 11.167
कुल लागत $0.022 $1.229
इनपुट कीमत $0.040 / 1M $0.200 / 1M
आउटपुट कीमत $0.150 / 1M $1.150 / 1M
कुल इनपुट टोकन 91,402 98,700
आउटपुट टोकन 3,138 1,050,900
रीजनिंग टोकन 116,991 0
प्रतिक्रिया समय (औसत) 3.19s 70.10s
प्रतिक्रिया समय (अधिकतम) 9.87s 364.99s
प्रतिक्रिया समय (कुल) 70.18s 1542.14s
पैरामीटर ~100B 198B कुल (11B सक्रिय)
उपलब्धता बंद स्रोत मुक्त स्रोत

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#157 Mercury 2.5

medium
लागत
$0.001
समय
3.8s
टोकन
3,386 tok

#150 Step 3.7 Flash

high
लागत
$0.007
समय
63.6s
टोकन
6,030 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2.5 5.0 5.1 44.5% 2 3.70s 7,807 488 21,857
Step 3.7 Flash 4.0 6.0 22.2% 1 206.21s 6,057 327,340 0

त्वरित तुलना

तुलना जोड़ी बदलें