#34 Step 3.5 Flash
medium- लागत
- $0.008
- समय
- 277.1s
- टोकन
- 23,695 tok
Stepfun
रिलीज़: 2026-02-01
परीक्षण किया गया: 2026-04-11 00:35
stepfun/step-3.5-flash::medium
196B कुल (11B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Step 3.5 Flash AI BENCHY पर 7.9 स्कोर करता है और #34 पर है। इसकी reliability लागू नहीं, pass rate 70.6%, कुल लागत $0.000, और औसत response time 26.78s है।
Step 3.5 Flash को अलग क्या बनाता है: यह डेटा पार्सिंग और निष्कर्षण में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि पहेली समाधान इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है।
मॉडल विवरण
शोध की तारीख: 2026-08-12
- पैरामीटर
- 196B कुल (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- लाइसेंस
- Apache-2.0
7.9
संगति
9.1
लागू नहीं
$0.000
कुल आउटपुट टोकन
227,511
कुल इनपुट टोकन
0
इनपुट कीमत
$0.100 / 1M
आउटपुट कीमत
$0.300 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
गलत टेस्ट: 6
प्रति प्रयास पास दर: 70.6%
बेंचमार्क कवरेज: 49/51 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)
अस्थिर टेस्ट
2
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 02:50 दोबारा परीक्षण | 5.9 | 10.0 | $0.132 ↑ | तुलना करें | |
| 2026-07-16 23:25 नया टेस्ट जोड़ा गया | 6.0 | 9.2 | $0.108 ↑ | तुलना करें | |
| 2026-06-04 14:12 नया टेस्ट जोड़ा गया | 7.2 | 8.9 | $0.070 ↑ | तुलना करें | |
| 2026-05-22 00:30 सूट बदला गया | 7.4 | 9.3 | $0.015 | तुलना करें | |
| 2026-05-08 15:30 सूट बदला गया | 7.6 | 10.0 | $0.011 | तुलना करें | |
| 2026-04-11 00:35 पहला दर्ज रन | 7.9 | लागू नहीं | $0.000 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 00:35 · पहला दर्ज रन | 49/51 प्रयास | 7.9 | 9.1 | लागू नहीं | 11/17 | 2 | 227,511 | 0 | $0.000 | 26.78s |
| 2026-06-04 14:12 · नया टेस्ट जोड़ा गया | 60/60 प्रयास | 7.2 | 9.1 | 8.9 | 11/20 | 2 | 287,560 | 34,431 | $0.070 | 72.53s |
| अंतर | — | +0.7 | 0.0 | 0 | 0 | -60049 | -34431 | -$0.070 | -45754ms |
बेंचमार्क कवरेज अलग है: 49/51 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
चार्ट
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
स्कोर के अनुसार शीर्ष मॉडल
स्कोर vs कुल लागत
प्रतिक्रिया समय (औसत)
स्कोर vs प्रतिक्रिया समय (औसत)
कुल आउटपुट टोकन
स्कोर vs कुल आउटपुट टोकन
त्वरित तुलना
Step 3.5 FlashmediumvsMiMo-V2.6-FlashnoneStep 3.5 FlashmediumvsEmber-1noneStep 3.5 FlashmediumvsHy4 previewlowStep 3.5 FlashmediumvsGPT-5.6 LunanoneStep 3.5 FlashmediumvsNorth Mini Codemediumनिःशुल्क उपलब्धStep 3.5 FlashmediumvsGranite 4.2 8BlowStep 3.5 FlashmediumvsQwen3.8 27Bnoneनिःशुल्क उपलब्धStep 3.5 FlashmediumvsKimi K2.5noneStep 3.5 FlashmediumvsSeed-2.0-CodenoneStep 3.5 FlashmediumvsLaguna XS 2.1noneनिःशुल्क उपलब्ध
श्रेणी विवरण
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 5.5 | 10.0 | |
| निर्देश पालन | 8.5 | 6.8 | |
| पहेली समाधान | 5.3 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 |