Mercury 2.5 Preview vs Nemotron 3.5 Lightning (low)

Mercury 2.5 Preview average score मध्ये पुढे आहे: 4.9 vs 4.8. Mercury 2.5 Preview चा benchmark खर्च कमी आहे: $0.018 vs $0.140. Mercury 2.5 Preview वेगवान आहे: 3.51s vs 59.81s, pass rates 30.3% vs 42.4%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-09-02

क्रमांक: #259
एकूण आउटपुट टोकन्स: 82,585
प्रतिसाद वेळ (सरासरी): 3.51s
एकूण खर्च: $0.018

क्रमांक: #264
एकूण आउटपुट टोकन्स: 665,174
प्रतिसाद वेळ (सरासरी): 59.81s
एकूण खर्च: $0.140

शिफारस केलेले मॉडेल Mercury 2.5 Preview

It has the best score here (4.9), while costing about 7.9x less than Nemotron 3.5 Lightning (low).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview none प्रकाशन: 2026-09-02	Nemotron 3.5 Lightning Nemotron 3.5 Lightning low प्रकाशन: 2026-08-11 मोफत उपलब्ध

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview none प्रकाशन: 2026-09-02	Nemotron 3.5 Lightning Nemotron 3.5 Lightning low प्रकाशन: 2026-08-11 मोफत उपलब्ध
स्कोअर	4.9	4.8
क्रमांक	#259	#264
विश्वसनीयता	10.0	9.8
सुसंगतता	8.3	6.8
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	30.3%	42.4%
अस्थिर चाचण्या	5	9
एकूण रन	66	66
प्रति निकाल खर्च	0.440	0.000
एकूण खर्च	$0.018	$0.140
इनपुट किंमत	$0.040 / 1M	$0.080 / 1M
आउटपुट किंमत	$0.150 / 1M	$0.200 / 1M
एकूण इनपुट टोकन्स	130,296	138,792
आउटपुट टोकन्स	82,585	142,972
रिझनिंग टोकन्स	0	522,202
प्रतिसाद वेळ (सरासरी)	3.51s	59.81s
प्रतिसाद वेळ (कमाल)	60.70s	312.21s
प्रतिसाद वेळ (एकूण)	77.28s	1315.80s
पॅरामीटर्स	~100B	30B एकूण (3B सक्रिय)
उपलब्धता	बंद स्रोत	वेट्स उपलब्ध

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#259 Mercury 2.5 Preview

none

अवैध SVG

खर्च: $0.001
वेळ: 3.3s
टोकन्स: 3,122 tok

#264 Nemotron 3.5 Lightning

low

खर्च: $0.000
वेळ: 32.2s
टोकन्स: 6,089 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.8	8.3	16.7%	1		655ms	812	256	0
Nemotron 3.5 Lightning	6.9	5.8	75.0%	2		14.82s	696	2,231	13,263

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	4.7	7.9	22.2%	1		459ms	7,850	650	0
Nemotron 3.5 Lightning	4.0	7.8	11.1%	1		224.42s	7,522	72,614	262,558

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		31.28s	101,129	80,273	0
Nemotron 3.5 Lightning	6.3	10.0	50.0%	0		142.36s	111,134	17,771	117,066

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	5.8	66.7%	1		1.04s	8,333	672	0
Nemotron 3.5 Lightning	2.9	5.8	16.7%	1		31.32s	7,944	3,462	17,930

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.6	7.2	22.2%	1		631ms	875	40	0
Nemotron 3.5 Lightning	3.6	7.2	22.2%	1		52.66s	798	40,719	74,528

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		482ms	544	85	0
Nemotron 3.5 Lightning	3.7	9.5	0.0%	0		4.61s	516	2,794	2,933

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	10.0	50.0%	0		1.26s	753	73	0
Nemotron 3.5 Lightning	8.4	6.9	83.3%	1		5.46s	723	434	4,423

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.6	7.4	44.4%	1		684ms	796	292	0
Nemotron 3.5 Lightning	3.6	1.8	44.4%	3		6.21s	726	1,402	11,841

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.29s	8,969	229	0
Nemotron 3.5 Lightning	10.0	10.0	100.0%	0		5.08s	8,526	124	2,685

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		419ms	235	15	0
Nemotron 3.5 Lightning	3.0	10.0	0.0%	0		38.68s	207	1,421	14,975

झटपट तुलना

तुलना जोडी बदला