#319 Step 3.5 Flash
medium- लागत
- $0.008
- समय
- 277.1s
- टोकन
- 23,695 tok
Stepfun
रिलीज़: 2026-02-01
परीक्षण किया गया: 2026-10-01 02:07
stepfun/step-3.5-flash::medium
196B कुल (11B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Step 3.5 Flash AI BENCHY पर 5.4 स्कोर करता है और #319 पर है। इसकी reliability 10.0, pass rate 49.3%, कुल लागत $0.105, और औसत response time 190.48s है।
Step 3.5 Flash को अलग क्या बनाता है: यह एंटी-एआई ट्रिक्स में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि स्वायत्त एजेंट कार्य इसकी सबसे कमजोर जगह है, जहाँ यह #13 पर है।
मॉडल विवरण
शोध की तारीख: 2026-08-12
- पैरामीटर
- 196B कुल (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- लाइसेंस
- Apache-2.0
5.4
संगति
8.3
10.0
$0.105
कुल आउटपुट टोकन
454,482
कुल इनपुट टोकन
139,086
इनपुट कीमत
$0.100 / 1M
आउटपुट कीमत
$0.300 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
गलत टेस्ट: 12
प्रति प्रयास पास दर: 49.3%
बेंचमार्क कवरेज: 66/69 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)
अस्थिर टेस्ट
3
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-10-01 02:07 दोबारा परीक्षण | 5.4 | 10.0 | $0.105 | वर्तमान रन | |
| 2026-07-16 23:25 नया टेस्ट जोड़ा गया | 6.0 | 9.2 | $0.108 ↑ | तुलना करें | |
| 2026-06-04 14:12 नया टेस्ट जोड़ा गया | 7.2 | 8.9 | $0.070 ↑ | तुलना करें | |
| 2026-05-22 00:30 सूट बदला गया | 7.4 | 9.3 | $0.015 | तुलना करें | |
| 2026-05-08 15:30 सूट बदला गया | 7.6 | 10.0 | $0.011 | तुलना करें | |
| 2026-04-11 00:35 पहला दर्ज रन | 7.9 | लागू नहीं | $0.000 | तुलना करें |
इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 02:07 · वर्तमान रन | 66/69 प्रयास | 5.4 | 8.3 | 10.0 | 10/22 | 3 | 454,482 | 139,086 | $0.105 | 190.48s |
| 2026-04-11 00:35 · पहला दर्ज रन | 49/51 प्रयास | 7.9 | 9.1 | लागू नहीं | 11/17 | 2 | 227,511 | 0 | $0.000 | 26.78s |
| अंतर | — | -2.5 | -0.8 | -1 | +1 | +226971 | +139086 | +$0.105 | +163704ms |
बेंचमार्क कवरेज अलग है: 66/69 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 49/51 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
चार्ट
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
स्कोर के अनुसार शीर्ष मॉडल
स्कोर vs कुल लागत
प्रतिक्रिया समय (औसत)
स्कोर vs प्रतिक्रिया समय (औसत)
कुल आउटपुट टोकन
स्कोर vs कुल आउटपुट टोकन
त्वरित तुलना
Step 3.5 FlashmediumvsMiMo-V2.6-FlashnoneStep 3.5 FlashmediumvsEmber-1noneStep 3.5 FlashmediumvsHy4 previewlowStep 3.5 FlashmediumvsGPT-5.6 LunanoneStep 3.5 FlashmediumvsNorth Mini Codemediumनिःशुल्क उपलब्धStep 3.5 FlashmediumvsGranite 4.2 8BlowStep 3.5 FlashmediumvsQwen3.8 27Bnoneनिःशुल्क उपलब्धStep 3.5 FlashmediumvsKimi K2.5noneStep 3.5 FlashmediumvsSeed-2.0-CodenoneStep 3.5 FlashmediumvsLaguna XS 2.1noneनिःशुल्क उपलब्ध
श्रेणी विवरण
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| स्वायत्त एजेंट कार्य | 2.8 | 1.6 | |
| एंटी-एआई ट्रिक्स | 10.0 | 10.0 | |
| कोडिंग | 2.4 | 5.2 | |
| संयुक्त | 6.5 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 3.5 | 4.4 | |
| Samanya Buddhimatta | 5.5 | 10.0 | |
| निर्देश पालन | 8.3 | 10.0 | |
| पहेली समाधान | 5.3 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |