नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

OpenAI: GPT-5.6 Sol vs StepFun: Step 3.5 Flash

सारांश

GPT-5.6 Sol vs Step 3.5 Flash (medium) benchmark तुलना: Step 3.5 Flash (medium) average score मध्ये पुढे आहे: 6.6 vs 6.3. Step 3.5 Flash (medium) चा benchmark खर्च कमी आहे: $0.070 vs $0.225. GPT-5.6 Sol वेगवान आहे: 1.66s vs 72.53s, pass rates 57.1% vs 54.0%.

शिफारस केलेले मॉडेल: Step 3.5 Flash (medium) - It has the best score here (6.6), while costing about 3.2x less than GPT-5.6 Sol.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-09

मेट्रिक GPT-5.6 Sol GPT-5.6 Sol none प्रकाशन: 2026-07-09 Step 3.5 Flash Step 3.5 Flash medium प्रकाशन: 2026-02-01
स्कोअर 6.3 6.6
क्रमांक #101 #93
विश्वसनीयता 10.0 10.0
सुसंगतता 9.0 8.9
बरोबर चाचण्या
प्रति प्रयत्न पास दर 57.1% 54.0%
अस्थिर चाचण्या 3 1
एकूण रन 63 60
प्रति निकाल खर्च 2.244 0.198
एकूण खर्च $0.225 $0.070
इनपुट किंमत $5.000 / 1M $0.100 / 1M
आउटपुट किंमत $30.000 / 1M $0.300 / 1M
एकूण इनपुट टोकन्स 34,218 34,431
आउटपुट टोकन्स 1,776 91,587
रिझनिंग टोकन्स 0 195,973
प्रतिसाद वेळ (सरासरी) 1.66s 72.53s
प्रतिसाद वेळ (कमाल) 3.93s 453.94s
प्रतिसाद वेळ (एकूण) 34.81s 1015.47s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#101 GPT-5.6 Sol

none
खर्च
$0.116
वेळ
78.7s
टोकन्स
3,944 tok

#93 Step 3.5 Flash

medium
खर्च
$0.008
वेळ
277.1s
टोकन्स
23,695 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 8.3 10.0 75.0% 0 1.27s 606 154 0
Step 3.5 Flash 10.0 10.0 100.0% 0 40.57s 694 20,391 24,176
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 5.5 10.0 33.3% 0 1.39s 7,302 390 0
Step 3.5 Flash 2.4 5.2 0.0% 0 258.38s 2,211 13,207 22,429
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 3.0 10.0 0.0% 0 3.93s 11,019 300 0
Step 3.5 Flash 10.0 10.0 100.0% 0 29.57s 13,638 1,176 12,984
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 10.0 10.0 100.0% 0 1.53s 7,140 222 0
Step 3.5 Flash 10.0 10.0 100.0% 0 15.01s 7,368 600 13,886
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 3.6 7.2 22.2% 1 1.43s 723 54 0
Step 3.5 Flash 5.3 7.2 44.4% 1 170.45s 673 45,350 90,436
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 6.5 3.4 66.7% 1 1.52s 477 91 0
Step 3.5 Flash 5.5 10.0 0.0% 0 22.39s 509 240 3,506
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 8.5 6.8 83.3% 1 1.33s 660 84 0
Step 3.5 Flash 8.3 10.0 50.0% 0 4.78s 705 2,364 3,521
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 7.7 10.0 66.7% 0 1.49s 642 211 0
Step 3.5 Flash 5.3 10.0 33.3% 0 7.22s 711 5,630 10,861
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 10.0 10.0 100.0% 0 3.70s 5,454 246 0
Step 3.5 Flash 10.0 10.0 100.0% 0 11.91s 7,701 275 3,802
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
GPT-5.6 Sol 3.0 10.0 0.0% 0 1.95s 195 24 0
Step 3.5 Flash 3.0 10.0 0.0% 0 108.45s 221 2,354 10,372

झटपट तुलना

तुलना जोडी बदला