नेव्हिगेशन
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4 Mini

सारांश

Mercury 2 vs GPT-5.4 Mini benchmark तुलना: GPT-5.4 Mini average score मध्ये पुढे आहे: 5.3 vs 4.6. Mercury 2 चा benchmark खर्च कमी आहे: $0.011 vs $0.038. Mercury 2 वेगवान आहे: 653ms vs 1.13s, pass rates 23.8% vs 30.2%.

शिफारस केलेले मॉडेल: Mercury 2 - Its score stays close to the best score here (4.6 vs 5.3), while costing about 3.6x less than GPT-5.4 Mini.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-18

मेट्रिक Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24 GPT-5.4 Mini GPT-5.4 Mini none प्रकाशन: 2026-03-17
स्कोअर 4.6 5.3
क्रमांक #151 #124
विश्वसनीयता 10.0 10.0
सुसंगतता 9.2 8.8
बरोबर चाचण्या
प्रति प्रयत्न पास दर 23.8% 30.2%
अस्थिर चाचण्या 2 3
एकूण रन 63 63
प्रति निकाल खर्च 0.259 0.743
एकूण खर्च $0.011 $0.038
इनपुट किंमत $0.250 / 1M $0.750 / 1M
आउटपुट किंमत $0.750 / 1M $4.500 / 1M
एकूण इनपुट टोकन्स 28,113 34,244
आउटपुट टोकन्स 4,439 2,541
रिझनिंग टोकन्स 0 0
प्रतिसाद वेळ (सरासरी) 653ms 1.13s
प्रतिसाद वेळ (कमाल) 1.43s 2.52s
प्रतिसाद वेळ (एकूण) 13.72s 23.82s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#151 Mercury 2

none
खर्च
$0.002
वेळ
1.8s
टोकन्स
1,514 tok

#124 GPT-5.4 Mini

none
खर्च
$0.010
वेळ
11.7s
टोकन्स
2,151 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 483ms 631 286 0
GPT-5.4 Mini 3.1 8.1 8.3% 1 929ms 606 654 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.4 9.6 0.0% 0 1.03s 7,229 3,088 0
GPT-5.4 Mini 5.5 10.0 33.3% 0 913ms 7,305 401 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 606ms 4,821 131 0
GPT-5.4 Mini 3.0 10.0 0.0% 0 2.52s 11,019 298 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 667ms 6,362 180 0
GPT-5.4 Mini 10.0 10.0 100.0% 0 1.30s 7,140 222 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.3 7.2 44.4% 1 534ms 784 46 0
GPT-5.4 Mini 3.5 4.4 33.3% 2 937ms 723 88 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 628ms 495 159 0
GPT-5.4 Mini 4.8 10.0 0.0% 0 1.82s 477 174 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.5 10.0 50.0% 0 551ms 691 82 0
GPT-5.4 Mini 6.3 10.0 50.0% 0 728ms 660 101 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.1 10.0 0.0% 0 535ms 694 251 0
GPT-5.4 Mini 5.4 10.0 33.3% 0 836ms 642 305 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.27s 6,193 197 0
GPT-5.4 Mini 3.0 10.0 0.0% 0 2.32s 5,477 255 0
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 548ms 213 19 0
GPT-5.4 Mini 3.0 10.0 0.0% 0 1.33s 195 43 0

झटपट तुलना

तुलना जोडी बदला