AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4

सारांश

Mercury 2 vs GPT-5.4 benchmark तुलना: GPT-5.4 average score मध्ये पुढे आहे: 5.8 vs 4.6. Mercury 2 चा benchmark खर्च कमी आहे: $0.011 vs $0.122. Mercury 2 वेगवान आहे: 653ms vs 1.42s, pass rates 23.8% vs 36.5%.

शिफारस केलेले मॉडेल: Mercury 2 - It offers the best overall trade-off: a competitive score (4.6), lower cost than GPT-5.4, and balanced response time.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-18

मेट्रिक	Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24	GPT-5.4 GPT-5.4 none प्रकाशन: 2026-03-05

मेट्रिक	Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24	GPT-5.4 GPT-5.4 none प्रकाशन: 2026-03-05
स्कोअर	4.6	5.8
क्रमांक	#151	#112
विश्वसनीयता	10.0	10.0
सुसंगतता	9.2	9.2
बरोबर चाचण्या
प्रति प्रयत्न पास दर	23.8%	36.5%
अस्थिर चाचण्या	2	2
एकूण रन	63	63
प्रति निकाल खर्च	0.259	1.740
एकूण खर्च	$0.011	$0.122
इनपुट किंमत	$0.250 / 1M	$2.500 / 1M
आउटपुट किंमत	$0.750 / 1M	$15.000 / 1M
एकूण इनपुट टोकन्स	28,113	34,212
आउटपुट टोकन्स	4,439	2,417
रिझनिंग टोकन्स	0	0
प्रतिसाद वेळ (सरासरी)	653ms	1.42s
प्रतिसाद वेळ (कमाल)	1.43s	2.95s
प्रतिसाद वेळ (एकूण)	13.72s	29.87s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#151 Mercury 2

none

खर्च: $0.002
वेळ: 1.8s
टोकन्स: 1,514 tok

#112 GPT-5.4

none

खर्च: $0.026
वेळ: 18.1s
टोकन्स: 1,792 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	3.0	10.0	0.0%	0		483ms	631	286	0
GPT-5.4	3.2	8.0	8.3%	1		1.21s	606	406	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	3.4	9.6	0.0%	0		1.03s	7,229	3,088	0
GPT-5.4	5.5	10.0	33.3%	0		1.62s	7,305	516	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	3.0	10.0	0.0%	0		606ms	4,821	131	0
GPT-5.4	3.0	10.0	0.0%	0		2.89s	11,019	291	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	7.3	5.9	83.3%	1		667ms	6,362	180	0
GPT-5.4	10.0	10.0	100.0%	0		1.04s	7,140	222	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	5.3	7.2	44.4%	1		534ms	784	46	0
GPT-5.4	5.3	7.2	44.4%	1		1.07s	723	50	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	4.8	10.0	0.0%	0		628ms	495	159	0
GPT-5.4	4.4	9.9	0.0%	0		1.78s	477	184	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	6.5	10.0	50.0%	0		551ms	691	82	0
GPT-5.4	6.5	10.0	50.0%	0		1.07s	660	81	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	3.1	10.0	0.0%	0		535ms	694	251	0
GPT-5.4	5.6	9.8	33.3%	0		1.44s	642	381	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	10.0	10.0	100.0%	0		1.27s	6,193	197	0
GPT-5.4	10.0	10.0	100.0%	0		2.75s	5,445	246	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2	3.0	10.0	0.0%	0		548ms	213	19	0
GPT-5.4	3.0	10.0	0.0%	0		990ms	195	40	0

झटपट तुलना

तुलना जोडी बदला

Mercury 2nonevsQwen3 Coder Nextmedium North Mini Codemediumमोफत उपलब्धvsGPT-5.4none Mercury 2nonevsMiniMax M2.5medium CobuddymediumvsMercury 2none Mercury 2nonevsGLM 4.7 Flashmedium Gemini 3.1 Flash LiteminimalvsGPT-5.4none Mercury 2nonevsMistral Small 4medium GPT-5.4nonevsQwen3.5-35B-A3Bmedium Gemma 4 31Bmediumमोफत उपलब्धvsGPT-5.4none Nemotron 3 Supermediumमोफत उपलब्धvsGPT-5.4none Mercury 2nonevsMiniMax M2.7medium MiniMax M2.7mediumvsGPT-5.4none