नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Inception: Mercury 2 vs OpenAI: GPT-5.4

सारांश

Mercury 2 vs GPT-5.4 benchmark तुलना: GPT-5.4 average score में आगे है: 5.8 vs 4.6. Mercury 2 की benchmark लागत कम है: $0.011 vs $0.122. Mercury 2 तेज है: 653ms vs 1.42s, pass rates 23.8% vs 36.5%.

अनुशंसित मॉडल: Mercury 2 - It offers the best overall trade-off: a competitive score (4.6), lower cost than GPT-5.4, and balanced response time.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-06-18

मेट्रिक Mercury 2 Mercury 2 none रिलीज़: 2026-02-24 GPT-5.4 GPT-5.4 none रिलीज़: 2026-03-05
स्कोर 4.6 5.8
रैंक #151 #112
विश्वसनीयता 10.0 10.0
संगति 9.2 9.2
सही परीक्षण
प्रति प्रयास पास दर 23.8% 36.5%
अस्थिर टेस्ट 2 2
कुल रन 63 63
प्रति परिणाम लागत 0.259 1.740
कुल लागत $0.011 $0.122
इनपुट कीमत $0.250 / 1M $2.500 / 1M
आउटपुट कीमत $0.750 / 1M $15.000 / 1M
कुल इनपुट टोकन 28,113 34,212
आउटपुट टोकन 4,439 2,417
रीजनिंग टोकन 0 0
प्रतिक्रिया समय (औसत) 653ms 1.42s
प्रतिक्रिया समय (अधिकतम) 1.43s 2.95s
प्रतिक्रिया समय (कुल) 13.72s 29.87s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#151 Mercury 2

none
लागत
$0.002
समय
1.8s
टोकन
1,514 tok

#112 GPT-5.4

none
लागत
$0.026
समय
18.1s
टोकन
1,792 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

एंटी-एआई ट्रिक्स स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 3.0 10.0 0.0% 0 483ms 631 286 0
GPT-5.4 3.2 8.0 8.3% 1 1.21s 606 406 0
कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 3.4 9.6 0.0% 0 1.03s 7,229 3,088 0
GPT-5.4 5.5 10.0 33.3% 0 1.62s 7,305 516 0
संयुक्त स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 3.0 10.0 0.0% 0 606ms 4,821 131 0
GPT-5.4 3.0 10.0 0.0% 0 2.89s 11,019 291 0
डेटा पार्सिंग और निष्कर्षण स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 7.3 5.9 83.3% 1 667ms 6,362 180 0
GPT-5.4 10.0 10.0 100.0% 0 1.04s 7,140 222 0
डोमेन-विशिष्ट स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 5.3 7.2 44.4% 1 534ms 784 46 0
GPT-5.4 5.3 7.2 44.4% 1 1.07s 723 50 0
Samanya Buddhimatta स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 4.8 10.0 0.0% 0 628ms 495 159 0
GPT-5.4 4.4 9.9 0.0% 0 1.78s 477 184 0
निर्देश पालन स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 6.5 10.0 50.0% 0 551ms 691 82 0
GPT-5.4 6.5 10.0 50.0% 0 1.07s 660 81 0
पहेली समाधान स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 3.1 10.0 0.0% 0 535ms 694 251 0
GPT-5.4 5.6 9.8 33.3% 0 1.44s 642 381 0
टूल कॉलिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 10.0 10.0 100.0% 0 1.27s 6,193 197 0
GPT-5.4 10.0 10.0 100.0% 0 2.75s 5,445 246 0
सामान्य ज्ञान स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Mercury 2 3.0 10.0 0.0% 0 548ms 213 19 0
GPT-5.4 3.0 10.0 0.0% 0 990ms 195 40 0

त्वरित तुलना

तुलना जोड़ी बदलें

Mercury 2nonevsQwen3 Coder NextmediumNorth Mini Codemediumनिःशुल्क उपलब्धvsGPT-5.4noneMercury 2nonevsMiniMax M2.5mediumCobuddymediumvsMercury 2noneMercury 2nonevsGLM 4.7 FlashmediumGemini 3.1 Flash LiteminimalvsGPT-5.4noneMercury 2nonevsMistral Small 4mediumGPT-5.4nonevsQwen3.5-35B-A3BmediumGemma 4 31Bmediumनिःशुल्क उपलब्धvsGPT-5.4noneNemotron 3 Supermediumनिःशुल्क उपलब्धvsGPT-5.4noneMercury 2nonevsMiniMax M2.7mediumMiniMax M2.7mediumvsGPT-5.4none