Mercury 2.5 Preview (low) vs Nemotron 3.5 Lightning (medium)

Nemotron 3.5 Lightning (medium) average score मध्ये पुढे आहे: 5.1 vs 5.0. Mercury 2.5 Preview (low) चा benchmark खर्च कमी आहे: $0.011 vs $0.156. Mercury 2.5 Preview (low) वेगवान आहे: 1.31s vs 70.11s, pass rates 47.0% vs 48.5%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-09-02

क्रमांक: #254
एकूण आउटपुट टोकन्स: 31,975
प्रतिसाद वेळ (सरासरी): 1.31s
एकूण खर्च: $0.011

क्रमांक: #244
एकूण आउटपुट टोकन्स: 760,441
प्रतिसाद वेळ (सरासरी): 70.11s
एकूण खर्च: $0.156

शिफारस केलेले मॉडेल Mercury 2.5 Preview (low)

Its score stays close to the best score here (5.0 vs 5.1), while costing about 15.3x less than Nemotron 3.5 Lightning (medium).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview low प्रकाशन: 2026-09-02	Nemotron 3.5 Lightning Nemotron 3.5 Lightning medium प्रकाशन: 2026-08-11 मोफत उपलब्ध

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview low प्रकाशन: 2026-09-02	Nemotron 3.5 Lightning Nemotron 3.5 Lightning medium प्रकाशन: 2026-08-11 मोफत उपलब्ध
स्कोअर	5.0	5.1
क्रमांक	#254	#244
विश्वसनीयता	10.0	9.9
सुसंगतता	7.0	6.0
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	47.0%	48.5%
अस्थिर चाचण्या	8	11
एकूण रन	66	66
प्रति निकाल खर्च	0.169	0.000
एकूण खर्च	$0.011	$0.156
इनपुट किंमत	$0.040 / 1M	$0.080 / 1M
आउटपुट किंमत	$0.150 / 1M	$0.200 / 1M
एकूण इनपुट टोकन्स	133,525	126,330
आउटपुट टोकन्स	7,259	165,702
रिझनिंग टोकन्स	24,716	594,739
प्रतिसाद वेळ (सरासरी)	1.31s	70.11s
प्रतिसाद वेळ (कमाल)	7.29s	437.11s
प्रतिसाद वेळ (एकूण)	28.77s	1542.52s
पॅरामीटर्स	~100B	30B एकूण (3B सक्रिय)
उपलब्धता	बंद स्रोत	वेट्स उपलब्ध

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#254 Mercury 2.5 Preview

low

खर्च: $0.001
वेळ: 1.5s
टोकन्स: 1,169 tok

#244 Nemotron 3.5 Lightning

medium

खर्च: $0.000
वेळ: 130.5s
टोकन्स: 6,750 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.6	3.8	66.7%	3		759ms	786	290	3,019
Nemotron 3.5 Lightning	6.9	7.9	66.7%	1		12.34s	696	6,904	20,862

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.5	10.0	33.3%	0		972ms	7,794	695	2,263
Nemotron 3.5 Lightning	4.4	5.1	33.3%	2		285.47s	7,623	78,065	297,359

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.77s	110,517	5,013	9,661
Nemotron 3.5 Lightning	6.2	5.8	66.7%	1		136.91s	98,571	15,769	112,376

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	5.8	66.7%	1		1.12s	8,309	611	1,521
Nemotron 3.5 Lightning	3.7	1.7	50.0%	2		23.24s	7,944	4,195	30,097

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	4.1	4.4	44.5%	2		836ms	849	45	2,247
Nemotron 3.5 Lightning	2.9	4.4	22.2%	2		74.73s	798	54,657	91,174

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		1.05s	540	105	749
Nemotron 3.5 Lightning	5.5	10.0	0.0%	0		4.36s	516	3,127	3,157

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	10.0	50.0%	0		1.60s	745	99	1,492
Nemotron 3.5 Lightning	8.5	6.8	83.3%	1		3.75s	723	531	4,404

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	8.2	7.2	88.9%	1		710ms	777	312	2,271
Nemotron 3.5 Lightning	4.2	4.4	44.5%	2		10.49s	726	1,170	18,195

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	2.8	1.6	33.3%	1		1.57s	2,983	76	739
Nemotron 3.5 Lightning	10.0	10.0	100.0%	0		4.92s	8,526	154	2,518

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		591ms	225	13	754
Nemotron 3.5 Lightning	3.0	10.0	0.0%	0		44.02s	207	1,130	14,597

झटपट तुलना

तुलना जोडी बदला

Mistral Small 4nonevsNemotron 3.5 Lightningmediumमोफत उपलब्ध Granite 4.2 8BlowvsNemotron 3.5 Lightningmediumमोफत उपलब्ध Mercury 2.5 PreviewlowvsMiniMax M2.7medium Nemotron 3.5 Lightningmediumमोफत उपलब्धvsQwen3 Coder Nextnone DeepSeek V3.2nonevsMercury 2.5 Previewlow Nemotron 3.5 Lightningmediumमोफत उपलब्धvsMiMo-V2.5none North Mini Codenoneमोफत उपलब्धvsMercury 2.5 Previewlow Nemotron 3.5 Lightningmediumमोफत उपलब्धvsQwen3.5-9Bnone Nemotron 3.5 Lightningmediumमोफत उपलब्धvsInklingnone Dots 3 Note Previewnoneमोफत उपलब्धvsNemotron 3.5 Lightningmediumमोफत उपलब्ध Mercury 2.5 PreviewlowvsGPT-4o-mininone Mercury 2.5 PreviewlowvsQwen3.5-9Bnone