नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

OpenAI: GPT-5.6 Sol vs StepFun: Step 3.5 Flash

सारांश

GPT-5.6 Sol vs Step 3.5 Flash (medium) benchmark तुलना: Step 3.5 Flash (medium) average score में आगे है: 6.6 vs 6.3. Step 3.5 Flash (medium) की benchmark लागत कम है: $0.070 vs $0.225. GPT-5.6 Sol तेज है: 1.66s vs 72.53s, pass rates 57.1% vs 54.0%.

अनुशंसित मॉडल: Step 3.5 Flash (medium) - It has the best score here (6.6), while costing about 3.2x less than GPT-5.6 Sol.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-09

मेट्रिक GPT-5.6 Sol GPT-5.6 Sol none रिलीज़: 2026-07-09 Step 3.5 Flash Step 3.5 Flash medium रिलीज़: 2026-02-01
स्कोर 6.3 6.6
रैंक #101 #93
विश्वसनीयता 10.0 10.0
संगति 9.0 8.9
सही परीक्षण
प्रति प्रयास पास दर 57.1% 54.0%
अस्थिर टेस्ट 3 1
कुल रन 63 60
प्रति परिणाम लागत 2.244 0.198
कुल लागत $0.225 $0.070
इनपुट कीमत $5.000 / 1M $0.100 / 1M
आउटपुट कीमत $30.000 / 1M $0.300 / 1M
कुल इनपुट टोकन 34,218 34,431
आउटपुट टोकन 1,776 91,587
रीजनिंग टोकन 0 195,973
प्रतिक्रिया समय (औसत) 1.66s 72.53s
प्रतिक्रिया समय (अधिकतम) 3.93s 453.94s
प्रतिक्रिया समय (कुल) 34.81s 1015.47s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#101 GPT-5.6 Sol

none
लागत
$0.116
समय
78.7s
टोकन
3,944 tok

#93 Step 3.5 Flash

medium
लागत
$0.008
समय
277.1s
टोकन
23,695 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

एंटी-एआई ट्रिक्स स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 8.3 10.0 75.0% 0 1.27s 606 154 0
Step 3.5 Flash 10.0 10.0 100.0% 0 40.57s 694 20,391 24,176
कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 5.5 10.0 33.3% 0 1.39s 7,302 390 0
Step 3.5 Flash 2.4 5.2 0.0% 0 258.38s 2,211 13,207 22,429
संयुक्त स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 3.0 10.0 0.0% 0 3.93s 11,019 300 0
Step 3.5 Flash 10.0 10.0 100.0% 0 29.57s 13,638 1,176 12,984
डेटा पार्सिंग और निष्कर्षण स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 10.0 10.0 100.0% 0 1.53s 7,140 222 0
Step 3.5 Flash 10.0 10.0 100.0% 0 15.01s 7,368 600 13,886
डोमेन-विशिष्ट स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 3.6 7.2 22.2% 1 1.43s 723 54 0
Step 3.5 Flash 5.3 7.2 44.4% 1 170.45s 673 45,350 90,436
Samanya Buddhimatta स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 6.5 3.4 66.7% 1 1.52s 477 91 0
Step 3.5 Flash 5.5 10.0 0.0% 0 22.39s 509 240 3,506
निर्देश पालन स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 8.5 6.8 83.3% 1 1.33s 660 84 0
Step 3.5 Flash 8.3 10.0 50.0% 0 4.78s 705 2,364 3,521
पहेली समाधान स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 7.7 10.0 66.7% 0 1.49s 642 211 0
Step 3.5 Flash 5.3 10.0 33.3% 0 7.22s 711 5,630 10,861
टूल कॉलिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 10.0 10.0 100.0% 0 3.70s 5,454 246 0
Step 3.5 Flash 10.0 10.0 100.0% 0 11.91s 7,701 275 3,802
सामान्य ज्ञान स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
GPT-5.6 Sol 3.0 10.0 0.0% 0 1.95s 195 24 0
Step 3.5 Flash 3.0 10.0 0.0% 0 108.45s 221 2,354 10,372

त्वरित तुलना

तुलना जोड़ी बदलें