Nemotron 3.5 Lightning (medium) vs GPT-4o-mini

Nemotron 3.5 Lightning (medium) average score मध्ये पुढे आहे: 5.1 vs 5.0. GPT-4o-mini चा benchmark खर्च कमी आहे: $0.010 vs $0.195. GPT-4o-mini वेगवान आहे: 1.92s vs 70.11s, pass rates 48.5% vs 22.7%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-08-15

क्रमांक: #232
एकूण आउटपुट टोकन्स: 760,441
प्रतिसाद वेळ (सरासरी): 70.11s
एकूण खर्च: $0.195

क्रमांक: #243
एकूण आउटपुट टोकन्स: 2,913
प्रतिसाद वेळ (सरासरी): 1.92s
एकूण खर्च: $0.010

शिफारस केलेले मॉडेल GPT-4o-mini

Its score stays close to the best score here (5.0 vs 5.1), while costing about 20.0x less than Nemotron 3.5 Lightning (medium).

तपशीलवार तुलना

मेट्रिक	Nemotron 3.5 Lightning Nemotron 3.5 Lightning medium प्रकाशन: 2026-08-11 मोफत उपलब्ध	GPT-4o-mini GPT-4o-mini none प्रकाशन: 2024-07-18

मेट्रिक	Nemotron 3.5 Lightning Nemotron 3.5 Lightning medium प्रकाशन: 2026-08-11 मोफत उपलब्ध	GPT-4o-mini GPT-4o-mini none प्रकाशन: 2024-07-18
स्कोअर	5.1	5.0
क्रमांक	#232	#243
विश्वसनीयता	9.9	10.0
सुसंगतता	6.0	9.9
प्रयत्न	66/66	66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर	48.5%	22.7%
अस्थिर चाचण्या	11	0
एकूण रन	66	66
प्रति निकाल खर्च	0.000	0.195
एकूण खर्च	$0.195	$0.010
इनपुट किंमत	$0.100 / 1M	$0.150 / 1M
आउटपुट किंमत	$0.250 / 1M	$0.600 / 1M
एकूण इनपुट टोकन्स	126,330	53,145
आउटपुट टोकन्स	165,702	2,913
रिझनिंग टोकन्स	594,739	0
प्रतिसाद वेळ (सरासरी)	70.11s	1.92s
प्रतिसाद वेळ (कमाल)	437.11s	7.58s
प्रतिसाद वेळ (एकूण)	1542.52s	30.71s
पॅरामीटर्स	30B एकूण (3B सक्रिय)	~8B
उपलब्धता	वेट्स उपलब्ध	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#232 Nemotron 3.5 Lightning

medium

खर्च: $0.000
वेळ: 130.5s
टोकन्स: 6,750 tok

#243 GPT-4o-mini

none

खर्च: $0.001
वेळ: 6.6s
टोकन्स: 742 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	6.9	7.9	66.7%	1		12.34s	696	6,904	20,862
GPT-4o-mini	4.8	10.0	25.0%	0		1.34s	618	186	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	4.4	5.1	33.3%	2		285.47s	7,623	78,065	297,359
GPT-4o-mini	3.2	9.6	0.0%	0		1.63s	7,314	367	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	6.2	5.8	66.7%	1		136.91s	98,571	15,769	112,376
GPT-4o-mini	3.0	10.0	0.0%	0		6.32s	29,916	1,497	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	3.7	1.7	50.0%	2		23.24s	7,944	4,195	30,097
GPT-4o-mini	10.0	10.0	100.0%	0		1.27s	7,161	183	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	2.9	4.4	22.2%	2		74.73s	798	54,657	91,174
GPT-4o-mini	3.0	10.0	0.0%	0		743ms	741	17	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	5.5	10.0	0.0%	0		4.36s	516	3,127	3,157
GPT-4o-mini	4.0	10.0	0.0%	0		909ms	480	66	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	8.5	6.8	83.3%	1		3.75s	723	531	4,404
GPT-4o-mini	6.3	10.0	50.0%	0		1.11s	666	69	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	4.2	4.4	44.5%	2		10.49s	726	1,170	18,195
GPT-4o-mini	3.5	10.0	0.0%	0		1.21s	651	308	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	10.0	10.0	100.0%	0		4.92s	8,526	154	2,518
GPT-4o-mini	10.0	10.0	100.0%	0		2.51s	5,400	205	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3.5 Lightning	3.0	10.0	0.0%	0		44.02s	207	1,130	14,597
GPT-4o-mini	3.0	10.0	0.0%	0		794ms	198	15	0

झटपट तुलना

तुलना जोडी बदला