नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

OpenAI: GPT-5.4 Nano vs StepFun: Step 3.5 Flash

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-03-17

मेट्रिक GPT-5.4 Nano GPT-5.4 Nano none प्रकाशन: 2026-03-17 Step 3.5 Flash Step 3.5 Flash medium प्रकाशन: 2026-02-01 मोफत उपलब्ध
क्रमांक #73 #22
स्कोअर 4.3 7.9
सुसंगतता 7.3 9.1
प्रति निकाल खर्च 0.404 0.000
एकूण खर्च $0.009 $0.000
बरोबर चाचण्या
प्रति प्रयत्न पास दर 29.4% 70.6%
अस्थिर चाचण्या 6 2
एकूण रन 51 49
आउटपुट टोकन्स 2,185 71,904
रिझनिंग टोकन्स 0 155,607
प्रतिसाद वेळ (सरासरी) 1.39s 26.78s
प्रतिसाद वेळ (कमाल) 3.84s 170.45s
प्रतिसाद वेळ (एकूण) 23.70s 294.58s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 3.5 8.0 16.7% 1 1.18s 800 0
Step 3.5 Flash 10.0 10.0 100.0% 0 13.56s 14,376 17,668
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 3.0 10.0 0.0% 0 3.84s 280 0
Step 3.5 Flash 10.0 10.0 100.0% 0 29.57s 1,176 12,984
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 6.5 10.0 50.0% 0 1.11s 219 0
Step 3.5 Flash 10.0 10.0 100.0% 0 15.01s 600 13,886
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 2.9 4.4 22.2% 2 926ms 52 0
Step 3.5 Flash 5.3 7.2 44.4% 1 170.45s 45,350 90,436
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 3.8 2.5 33.3% 1 1.31s 180 0
Step 3.5 Flash 5.5 10.0 0.0% 0 6.54s 2,214 2,584
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 5.0 6.8 33.3% 1 787ms 84 0
Step 3.5 Flash 8.5 6.8 83.3% 1 4.98s 2,284 3,412
Puzzle Solving स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 3.7 7.3 22.2% 1 1.29s 348 0
Step 3.5 Flash 5.3 10.0 33.3% 0 7.72s 5,629 10,835
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.4 Nano 10.0 10.0 100.0% 0 3.40s 222 0
Step 3.5 Flash 10.0 10.0 100.0% 0 11.91s 275 3,802

झटपट तुलना

तुलना जोडी बदला