AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#202

Step 3.5 Flash

Stepfun रिलीज़: 2026-02-01 परीक्षण किया गया: 2026-08-14 02:50 stepfun/step-3.5-flash::medium
196B कुल (11B सक्रिय)MoEमुक्त स्रोत
(medium) (none)

सारांश

Step 3.5 Flash AI BENCHY पर 5.9 स्कोर करता है और #202 पर है। इसकी reliability 10.0, pass rate 50.0%, कुल लागत $0.132, और औसत response time 191.63s है।

Step 3.5 Flash को अलग क्या बनाता है: यह एंटी-एआई ट्रिक्स में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि कोडिंग इसकी सबसे कमजोर जगह है, जहाँ यह #13 पर है।

मॉडल विवरण

शोध की तारीख: 2026-08-12

घोषित
पैरामीटर
196B कुल (11B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
लाइसेंस
Apache-2.0

संगति

8.6

कुल लागत (वर्तमान कीमत)

$0.132 ↑ +53.1%

परीक्षण के समय: $0.086

कुल आउटपुट टोकन

568,536

कुल इनपुट टोकन

65,716

इनपुट कीमत

$0.100 / 1M

आउटपुट कीमत

$0.300 / 1M

सही परीक्षण

गलत टेस्ट: 11

प्रति प्रयास पास दर: 50.0%

बेंचमार्क कवरेज: 63/66 प्रयास

अस्थिर टेस्ट

2

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

191.63s

प्रतिक्रिया समय (अधिकतम): 1597.85s

प्रतिक्रिया समय (कुल): 3066.07s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#202 Step 3.5 Flash

medium
लागत
$0.008
समय
277.1s
टोकन
23,695 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-08-14 02:50 दोबारा परीक्षण 5.9 10.0 $0.132 वर्तमान रन
2026-07-16 23:25 नया टेस्ट जोड़ा गया 6.0 9.2 $0.108 तुलना करें
2026-06-04 14:12 नया टेस्ट जोड़ा गया 7.2 8.9 $0.070 तुलना करें
2026-05-22 00:30 सूट बदला गया 7.4 9.3 $0.015 तुलना करें
2026-05-08 15:30 सूट बदला गया 7.6 10.0 $0.011 तुलना करें
2026-04-11 00:35 पहला दर्ज रन 7.9 लागू नहीं $0.000 तुलना करें

इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।

रन तुलना

रनबेंचमार्क कवरेजस्कोरसंगतिविश्वसनीयतासही परीक्षणअस्थिर टेस्टकुल आउटपुट टोकनकुल इनपुट टोकनकुल लागतप्रतिक्रिया समय (औसत)
2026-08-14 02:50 · वर्तमान रन63/66 प्रयास5.98.610.010/212568,53665,716$0.132191.63s
2026-05-08 15:30 · सूट बदला गया54/54 प्रयास7.69.210.011/182251,7080$0.01141.66s
अंतर-1.7-0.60.0-10+316828+65716+$0.121+149970ms

बेंचमार्क कवरेज अलग है: 63/66 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 54/54 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।

इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।

कीमत का इतिहास

OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।

तारीख इनपुट कीमत आउटपुट कीमत
2026-06-04 15:40 $0.090 / 1M $0.300 / 1M
2026-08-14 12:51 $0.100 / 1M $0.300 / 1M

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 10.0 10.0
कोडिंग 2.4 5.2
संयुक्त 6.5 10.0
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.5 4.4
Samanya Buddhimatta 5.5 10.0
निर्देश पालन 8.3 10.0
पहेली समाधान 5.3 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल