Mistral Small 4 (medium) vs Nemotron 3.5 Lightning (high)

Nemotron 3.5 Lightning (high) average score में आगे है: 5.2 vs 5.1. Nemotron 3.5 Lightning (high) की benchmark लागत कम है: $0.111 vs $0.126. Mistral Small 4 (medium) तेज है: 12.68s vs 77.08s, pass rates 42.0% vs 47.8%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-01

तुलना किए गए मॉडल

रैंक: #291
कुल आउटपुट टोकन: 136,501
प्रतिक्रिया समय (औसत): 12.68s
कुल लागत: $0.126

रैंक: #287
कुल आउटपुट टोकन: 659,693
प्रतिक्रिया समय (औसत): 77.08s
कुल लागत: $0.111

अनुशंसित मॉडल Mistral Small 4 (medium)

Its score stays close to the best score here (5.1 vs 5.2), while responding about 6.1x faster than Nemotron 3.5 Lightning (high).

विस्तृत तुलना

मेट्रिक	Mistral Small 4 Mistral Small 4 medium रिलीज़: 2026-03-16	Nemotron 3.5 Lightning Nemotron 3.5 Lightning high रिलीज़: 2026-08-11 निःशुल्क उपलब्ध

मेट्रिक	Mistral Small 4 Mistral Small 4 medium रिलीज़: 2026-03-16	Nemotron 3.5 Lightning Nemotron 3.5 Lightning high रिलीज़: 2026-08-11 निःशुल्क उपलब्ध
स्कोर	5.1	5.2
रैंक	#291	#287
विश्वसनीयता	9.7	9.6
संगति	7.1	5.7
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	42.0%	47.8%
अस्थिर टेस्ट	8	12
कुल रन	69	69
प्रति परिणाम लागत	2.502	0.000
कुल लागत	$0.126	$0.111
इनपुट कीमत	$0.150 / 1M	$0.060 / 1M
आउटपुट कीमत	$0.600 / 1M	$0.160 / 1M
कुल इनपुट टोकन	321,955	170,517
आउटपुट टोकन	41,555	149,968
रीजनिंग टोकन	94,946	509,725
प्रतिक्रिया समय (औसत)	12.68s	77.08s
प्रतिक्रिया समय (अधिकतम)	59.15s	490.99s
प्रतिक्रिया समय (कुल)	291.66s	1772.78s
पैरामीटर	119B कुल (6B सक्रिय)	30B कुल (3B सक्रिय)
उपलब्धता	मुक्त स्रोत	वेट उपलब्ध

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#291 Mistral Small 4

medium

लागत: $0.006
समय: 47.9s
टोकन: 9,857 tok

#287 Nemotron 3.5 Lightning

high

लागत: $0.000
समय: 92.8s
टोकन: 11,343 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	5.0	10.0	0.0%	0		54.05s	181,396	1,287	1,617
Nemotron 3.5 Lightning	3.5	8.3	0.0%	0		490.99s	52,501	1,624	3,472

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778
Nemotron 3.5 Lightning	5.5	3.7	66.7%	3		10.29s	696	2,432	15,948

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	4.4	5.1	33.3%	2		39.98s	7,636	11,635	54,715
Nemotron 3.5 Lightning	4.4	5.1	33.3%	2		168.41s	7,623	68,533	242,319

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	3.0	10.0	0.0%	0		32.40s	116,624	17,890	18,384
Nemotron 3.5 Lightning	6.4	10.0	50.0%	0		160.45s	90,257	17,550	119,725

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723
Nemotron 3.5 Lightning	7.3	5.9	83.3%	1		13.99s	7,944	3,210	16,835

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	5.9	7.2	55.6%	1		6.33s	807	3,427	7,871
Nemotron 3.5 Lightning	2.9	4.4	22.2%	2		88.61s	798	45,616	72,496

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828
Nemotron 3.5 Lightning	3.7	9.5	0.0%	0		7.58s	516	4,331	4,408

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031
Nemotron 3.5 Lightning	8.5	6.8	83.3%	1		4.98s	723	502	3,779

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632
Nemotron 3.5 Lightning	3.6	1.8	44.4%	3		6.09s	726	1,236	9,851

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810
Nemotron 3.5 Lightning	10.0	10.0	100.0%	0		6.92s	8,526	3,745	3,781

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557
Nemotron 3.5 Lightning	3.0	10.0	0.0%	0		77.98s	207	1,189	17,111

त्वरित तुलना

तुलना जोड़ी बदलें