AI BENCHY Compare

Nemotron 3 Ultra 550b A55b vs StepFun: Step 3.7 Flash

सारांश

Nemotron 3 Ultra 550b A55b vs Step 3.7 Flash benchmark तुलना: Step 3.7 Flash average score मध्ये पुढे आहे: 8.5 vs 8.1. Nemotron 3 Ultra 550b A55b चा benchmark खर्च कमी आहे: $0.177 vs $0.376. Nemotron 3 Ultra 550b A55b वेगवान आहे: 15.05s vs 20.35s, pass rates 69.8% vs 73.0%.

शिफारस केलेले मॉडेल: Nemotron 3 Ultra 550b A55b - Its score stays close to the best score here (8.1 vs 8.5), while costing about 2.1x less than Step 3.7 Flash.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-12

मेट्रिक	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium प्रकाशन: 2026-06-04 मोफत उपलब्ध	Step 3.7 Flash Step 3.7 Flash medium प्रकाशन: 2026-05-29

मेट्रिक	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium प्रकाशन: 2026-06-04 मोफत उपलब्ध	Step 3.7 Flash Step 3.7 Flash medium प्रकाशन: 2026-05-29
स्कोअर	8.1	8.5
क्रमांक	#29	#23
विश्वसनीयता	9.7	9.9
सुसंगतता	8.8	9.3
बरोबर चाचण्या
प्रति प्रयत्न पास दर	69.8%	73.0%
अस्थिर चाचण्या	3	2
एकूण रन	63	61
प्रति निकाल खर्च	0.000	2.686
एकूण खर्च	$0.177	$0.376
इनपुट किंमत	$0.500 / 1M	$0.200 / 1M
आउटपुट किंमत	$2.500 / 1M	$1.150 / 1M
एकूण इनपुट टोकन्स	46,813	39,981
आउटपुट टोकन्स	18,002	319,958
रिझनिंग टोकन्स	53,091	0
प्रतिसाद वेळ (सरासरी)	15.05s	20.35s
प्रतिसाद वेळ (कमाल)	43.93s	113.98s
प्रतिसाद वेळ (एकूण)	316.09s	427.42s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#29 Nemotron 3 Ultra 550b A55b

medium

No showcase result has been generated for this model yet.

Cost: $0.000
Time: -
Tokens: 0 tok

#23 Step 3.7 Flash

medium

Cost: $0.006
Time: 46.2s
Tokens: 4,466 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		8.62s	780	835	1,485
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	8.4	7.4	88.9%	1		26.53s	7,686	2,854	17,725
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	9.8	10.0	100.0%	0		43.93s	17,574	1,040	3,590
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		5.68s	7,989	473	1,285
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	3.5	4.4	33.3%	2		24.90s	858	11,169	16,249
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	3.7	9.5	0.0%	0		2.52s	360	70	235
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	9.8	10.0	100.0%	0		6.35s	765	182	1,243
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	5.5	9.9	33.3%	0		3.54s	792	771	2,055
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		7.72s	9,781	304	984
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		38.47s	228	304	8,240
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

झटपट तुलना

तुलना जोडी बदला