नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

सारांश

Mercury 2 vs Step 3.7 Flash benchmark तुलना: Step 3.7 Flash average score मध्ये पुढे आहे: 7.0 vs 6.6. Mercury 2 चा benchmark खर्च कमी आहे: $0.058 vs $1.148. Mercury 2 वेगवान आहे: 2.24s vs 64.46s, pass rates 54.0% vs 63.5%.

शिफारस केलेले मॉडेल: Mercury 2 - Its score stays close to the best score here (6.6 vs 7.0), while costing about 19.9x less than Step 3.7 Flash.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-04

मेट्रिक Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24 Step 3.7 Flash Step 3.7 Flash high प्रकाशन: 2026-05-29
स्कोअर 6.6 7.0
क्रमांक #81 #71
विश्वसनीयता 10.0 10.0
सुसंगतता 8.8 8.2
बरोबर चाचण्या
प्रति प्रयत्न पास दर 54.0% 63.5%
अस्थिर चाचण्या 3 4
एकूण रन 63 63
प्रति निकाल खर्च 0.578 10.434
एकूण खर्च $0.058 $1.148
इनपुट किंमत $0.250 / 1M $0.200 / 1M
आउटपुट किंमत $0.750 / 1M $1.150 / 1M
एकूण इनपुट टोकन्स 35,116 38,391
आउटपुट टोकन्स 4,048 991,355
रिझनिंग टोकन्स 61,219 0
प्रतिसाद वेळ (सरासरी) 2.24s 64.46s
प्रतिसाद वेळ (कमाल) 14.63s 364.99s
प्रतिसाद वेळ (एकूण) 44.72s 1353.57s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#81 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#71 Step 3.7 Flash

high
Cost
$0.007
Time
63.6s
Tokens
6,030 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 10.0 10.0 100.0% 0 13.40s 696 42,656 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 4.0 6.0 22.2% 1 206.21s 6,057 327,340 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 13.01s 13,638 8,802 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 10.0 10.0 100.0% 0 14.72s 7,368 23,113 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 4.1 4.4 44.5% 2 149.64s 783 410,502 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 5.5 10.0 0.0% 0 4.17s 510 2,862 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.52s 705 2,010 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.3 7.2 44.4% 1 10.22s 711 25,422 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 2.79s 7,701 1,172 0
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 149.34s 222 147,476 0

झटपट तुलना

तुलना जोडी बदला