नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Nemotron 3 Ultra 550b A55b vs StepFun: Step 3.5 Flash

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-04

मेट्रिक Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium प्रकाशन: 2026-06-04 मोफत उपलब्ध Step 3.5 Flash Step 3.5 Flash medium प्रकाशन: 2026-02-01
स्कोअर 7.5 7.2
क्रमांक #41 #62
विश्वसनीयता 9.7 10.0
सुसंगतता 8.8 9.4
बरोबर चाचण्या
प्रति प्रयत्न पास दर 69.8% 56.7%
अस्थिर चाचण्या 3 1
एकूण रन 63 60
प्रति निकाल खर्च 0.000 0.198
एकूण खर्च $0.000 $0.070
इनपुट किंमत $0.000 / 1M $0.090 / 1M
आउटपुट किंमत $0.000 / 1M $0.300 / 1M
एकूण इनपुट टोकन्स 46,813 34,431
आउटपुट टोकन्स 18,002 91,587
रिझनिंग टोकन्स 53,091 195,973
प्रतिसाद वेळ (सरासरी) 15.05s 72.53s
प्रतिसाद वेळ (कमाल) 43.93s 453.94s
प्रतिसाद वेळ (एकूण) 316.09s 1015.47s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 10.0 10.0 100.0% 0 8.62s 780 835 1,485
Step 3.5 Flash 10.0 10.0 100.0% 0 40.57s 694 20,391 24,176
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 8.4 7.4 88.9% 1 26.53s 7,686 2,854 17,725
Step 3.5 Flash 3.5 7.8 0.0% 0 258.38s 2,211 13,207 22,429
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 9.8 10.0 100.0% 0 43.93s 17,574 1,040 3,590
Step 3.5 Flash 10.0 10.0 100.0% 0 29.57s 13,638 1,176 12,984
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 10.0 10.0 100.0% 0 5.68s 7,989 473 1,285
Step 3.5 Flash 10.0 10.0 100.0% 0 15.01s 7,368 600 13,886
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 3.5 4.4 33.3% 2 24.90s 858 11,169 16,249
Step 3.5 Flash 5.3 7.2 44.4% 1 170.45s 673 45,350 90,436
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 3.7 9.5 0.0% 0 2.52s 360 70 235
Step 3.5 Flash 5.5 10.0 0.0% 0 22.39s 509 240 3,506
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 9.8 10.0 100.0% 0 6.35s 765 182 1,243
Step 3.5 Flash 8.3 10.0 50.0% 0 4.78s 705 2,364 3,521
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 5.5 9.9 33.3% 0 3.54s 792 771 2,055
Step 3.5 Flash 5.3 10.0 33.3% 0 7.22s 711 5,630 10,861
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 10.0 10.0 100.0% 0 7.72s 9,781 304 984
Step 3.5 Flash 10.0 10.0 100.0% 0 11.91s 7,701 275 3,802
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Nemotron 3 Ultra 550b A55b 3.0 10.0 0.0% 0 38.47s 228 304 8,240
Step 3.5 Flash 3.0 10.0 0.0% 0 108.45s 221 2,354 10,372

झटपट तुलना

तुलना जोडी बदला