नेव्हिगेशन
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

सारांश

Mercury 2 vs Step 3.7 Flash benchmark तुलना: Step 3.7 Flash average score मध्ये पुढे आहे: 7.7 vs 7.5. Mercury 2 चा benchmark खर्च कमी आहे: $0.058 vs $0.341. Mercury 2 वेगवान आहे: 2.24s vs 15.74s, pass rates 54.0% vs 68.3%.

शिफारस केलेले मॉडेल: Mercury 2 - Its score stays close to the best score here (7.5 vs 7.7), while costing about 5.9x less than Step 3.7 Flash.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-12

मेट्रिक Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24 Step 3.7 Flash Step 3.7 Flash low प्रकाशन: 2026-05-29
स्कोअर 7.5 7.7
क्रमांक #46 #42
विश्वसनीयता 10.0 10.0
सुसंगतता 8.8 8.4
बरोबर चाचण्या
प्रति प्रयत्न पास दर 54.0% 68.3%
अस्थिर चाचण्या 3 4
एकूण रन 63 63
प्रति निकाल खर्च 0.578 2.840
एकूण खर्च $0.058 $0.341
इनपुट किंमत $0.250 / 1M $0.200 / 1M
आउटपुट किंमत $0.750 / 1M $1.150 / 1M
एकूण इनपुट टोकन्स 35,116 40,101
आउटपुट टोकन्स 4,048 289,325
रिझनिंग टोकन्स 61,219 0
प्रतिसाद वेळ (सरासरी) 2.24s 15.74s
प्रतिसाद वेळ (कमाल) 14.63s 124.75s
प्रतिसाद वेळ (एकूण) 44.72s 330.63s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#46 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#42 Step 3.7 Flash

low
Invalid SVG
Cost
$0.004
Time
25.3s
Tokens
3,072 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 8.7 7.9 91.7% 1 4.02s 756 10,896 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 7.98s 13,683 6,426 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 7.3 5.8 83.3% 1 2.29s 7,398 2,667 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 5.3 7.2 44.4% 1 43.31s 828 104,487 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 3.4 9.3 0.0% 0 7.00s 525 4,604 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.58s 735 1,857 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.5 9.9 33.3% 0 1.84s 756 3,564 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 3.25s 7,746 1,360 0
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 124.75s 237 134,779 0

झटपट तुलना

तुलना जोडी बदला