Mercury 2.5 Preview (medium) vs Nemotron 3 Ultra

Mercury 2.5 Preview (medium) average score में आगे है: 6.8 vs 5.9. Mercury 2.5 Preview (medium) की benchmark लागत कम है: $0.039 vs $0.164. Mercury 2.5 Preview (medium) तेज है: 6.66s vs 6.76s, pass rates 66.7% vs 40.6%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-17

तुलना किए गए मॉडल

रैंक: #199
कुल आउटपुट टोकन: 150,107
प्रतिक्रिया समय (औसत): 6.66s
कुल लागत: $0.039

रैंक: #285
कुल आउटपुट टोकन: 11,544
प्रतिक्रिया समय (औसत): 6.76s
कुल लागत: $0.164

अनुशंसित मॉडल Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 4.2x less than Nemotron 3 Ultra.

विस्तृत तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02	Nemotron 3 Ultra Nemotron 3 Ultra none रिलीज़: 2026-06-04 निःशुल्क उपलब्ध

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview medium रिलीज़: 2026-09-02	Nemotron 3 Ultra Nemotron 3 Ultra none रिलीज़: 2026-06-04 निःशुल्क उपलब्ध
स्कोर	6.8	5.9
रैंक	#199	#285
विश्वसनीयता	10.0	10.0
संगति	9.6	9.3
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	66.7%	40.6%
अस्थिर टेस्ट	1	2
कुल रन	69	69
प्रति परिणाम लागत	0.244	0.000
कुल लागत	$0.039	$0.164
इनपुट कीमत	$0.040 / 1M	$0.500 / 1M
आउटपुट कीमत	$0.150 / 1M	$2.200 / 1M
कैश पढ़ने की कीमत	लागू नहीं	$0.100 / 1M
कैश लिखने की कीमत	लागू नहीं	लागू नहीं
कुल इनपुट टोकन	397,291	275,381
आउटपुट टोकन	6,355	11,544
रीजनिंग टोकन	143,752	0
प्रतिक्रिया समय (औसत)	6.66s	6.76s
प्रतिक्रिया समय (अधिकतम)	74.63s	70.17s
प्रतिक्रिया समय (कुल)	153.29s	155.50s
पैरामीटर	~100B	550B कुल (55B सक्रिय)
उपलब्धता	बंद स्रोत	वेट उपलब्ध

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#199 Mercury 2.5 Preview

medium

लागत: $0.001
समय: 2.7s
टोकन: 2,241 tok

#285 Nemotron 3 Ultra

none

लागत: $0.000
समय: 149.6s
टोकन: 3,405 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.9	9.6	0.0%	0		74.63s	284,578	919	22,154
Nemotron 3 Ultra	5.0	10.0	0.0%	0		70.17s	174,213	2,074	0

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921
Nemotron 3 Ultra	3.5	8.0	16.7%	1		2.35s	696	239	0

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126
Nemotron 3 Ultra	5.5	10.0	33.3%	0		1.02s	7,623	369	0

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588
Nemotron 3 Ultra	3.0	10.0	0.0%	0		21.14s	73,507	7,693	0

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354
Nemotron 3 Ultra	10.0	10.0	100.0%	0		1.94s	7,944	249	0

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120
Nemotron 3 Ultra	5.3	10.0	33.3%	0		758ms	682	23	0

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375
Nemotron 3 Ultra	5.0	10.0	0.0%	0		13.49s	516	101	0

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987
Nemotron 3 Ultra	10.0	10.0	100.0%	0		1.46s	723	69	0

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323
Nemotron 3 Ultra	5.9	7.2	55.6%	1		1.06s	726	352	0

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0
Nemotron 3 Ultra	10.0	10.0	100.0%	0		2.99s	8,544	264	0

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804
Nemotron 3 Ultra	3.0	10.0	0.0%	0		1.83s	207	111	0

तुलना जोड़ी बदलें