#319 Step 3.5 Flash
medium- खर्च
- $0.008
- वेळ
- 277.1s
- टोकन्स
- 23,695 tok
Stepfun
प्रकाशन: 2026-02-01
चाचणी तारीख: 2026-10-01 02:07
stepfun/step-3.5-flash::medium
196B एकूण (11B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Step 3.5 Flash AI BENCHY वर 5.4 स्कोर करते आणि #319 वर आहे. याची reliability 10.0, pass rate 49.3%, एकूण खर्च $0.105, आणि सरासरी response time 190.48s आहे.
Step 3.5 Flash खास का आहे: हे अँटी-एआय युक्त्या मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर स्वायत्त एजंट कार्ये हा सर्वात कमकुवत भाग आहे, rank #13.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 196B एकूण (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
5.4
सुसंगतता
8.3
10.0
$0.105
एकूण आउटपुट टोकन्स
454,482
एकूण इनपुट टोकन्स
139,086
इनपुट किंमत
$0.100 / 1M
आउटपुट किंमत
$0.300 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
चुकीच्या चाचण्या: 12
प्रति प्रयत्न पास दर: 49.3%
बेंचमार्क कव्हरेज: 66/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती)
अस्थिर चाचण्या
3
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-10-01 02:07 पुन्हा चाचणी | 5.4 | 10.0 | $0.105 | सध्याची रन | |
| 2026-07-16 23:25 नवीन चाचणी जोडली | 6.0 | 9.2 | $0.108 ↑ | तुलना करा | |
| 2026-06-04 14:12 नवीन चाचणी जोडली | 7.2 | 8.9 | $0.070 ↑ | तुलना करा | |
| 2026-05-22 00:30 सूट बदलला | 7.4 | 9.3 | $0.015 | तुलना करा | |
| 2026-05-08 15:30 सूट बदलला | 7.6 | 10.0 | $0.011 | तुलना करा | |
| 2026-04-11 00:35 पहिली नोंदलेली रन | 7.9 | लागू नाही | $0.000 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 02:07 · सध्याची रन | 66/69 प्रयत्न | 5.4 | 8.3 | 10.0 | 10/22 | 3 | 454,482 | 139,086 | $0.105 | 190.48s |
| 2026-06-04 14:12 · नवीन चाचणी जोडली | 60/60 प्रयत्न | 7.2 | 9.1 | 8.9 | 11/20 | 2 | 287,560 | 34,431 | $0.070 | 72.53s |
| फरक | — | -1.8 | -0.8 | +1.1 | -1 | +1 | +166922 | +104655 | +$0.036 | +117950ms |
बेंचमार्क कव्हरेज वेगळे आहे: 66/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Step 3.5 FlashmediumvsMiMo-V2.6-FlashnoneStep 3.5 FlashmediumvsEmber-1noneStep 3.5 FlashmediumvsHy4 previewlowStep 3.5 FlashmediumvsGPT-5.6 LunanoneStep 3.5 FlashmediumvsNorth Mini Codemediumमोफत उपलब्धStep 3.5 FlashmediumvsGranite 4.2 8BlowStep 3.5 FlashmediumvsQwen3.8 27Bnoneमोफत उपलब्धStep 3.5 FlashmediumvsKimi K2.5noneStep 3.5 FlashmediumvsSeed-2.0-CodenoneStep 3.5 FlashmediumvsLaguna XS 2.1noneमोफत उपलब्ध
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| स्वायत्त एजंट कार्ये | 2.8 | 1.6 | |
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| कोडिंग | 2.4 | 5.2 | |
| संयुक्त | 6.5 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 3.5 | 4.4 | |
| Samanya Buddhimatta | 5.5 | 10.0 | |
| सूचनांचे पालन | 8.3 | 10.0 | |
| कोडी सोडवणे | 5.3 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |