#43 Step 3.5 Flash
medium- खर्च
- $0.008
- वेळ
- 277.1s
- टोकन्स
- 23,695 tok
Stepfun
प्रकाशन: 2026-02-01
चाचणी तारीख: 2026-05-08 15:30
stepfun/step-3.5-flash::medium
196B एकूण (11B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Step 3.5 Flash AI BENCHY वर 7.6 स्कोर करते आणि #43 वर आहे. याची reliability 10.0, pass rate 66.7%, एकूण खर्च $0.011, आणि सरासरी response time 41.66s आहे.
Step 3.5 Flash खास का आहे: हे डेटा पार्सिंग आणि निष्कर्षण मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर सूचनांचे पालन हा सर्वात कमकुवत भाग आहे, rank #17. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 196B एकूण (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
7.6
सुसंगतता
9.2
10.0
$0.011
एकूण आउटपुट टोकन्स
251,708
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.100 / 1M
आउटपुट किंमत
$0.300 / 1M
अस्थिर चाचण्या
2
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:50 पुन्हा चाचणी | 5.9 | 10.0 | $0.132 ↑ | तुलना करा | |
| 2026-07-16 23:25 नवीन चाचणी जोडली | 6.0 | 9.2 | $0.108 ↑ | तुलना करा | |
| 2026-06-04 14:12 नवीन चाचणी जोडली | 7.2 | 8.9 | $0.070 ↑ | तुलना करा | |
| 2026-05-22 00:30 सूट बदलला | 7.4 | 9.3 | $0.015 | तुलना करा | |
| 2026-05-08 15:30 सूट बदलला | 7.6 | 10.0 | $0.011 | सध्याची रन | |
| 2026-04-11 00:35 पहिली नोंदलेली रन | 7.9 | लागू नाही | $0.000 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-08 15:30 · सूट बदलला | 54/54 प्रयत्न | 7.6 | 9.2 | 10.0 | 11/18 | 2 | 251,708 | 0 | $0.011 | 41.66s |
| 2026-08-14 02:50 · पुन्हा चाचणी | 63/63 प्रयत्न | 5.9 | 8.6 | 10.0 | 10/21 | 2 | 568,536 | 65,716 | $0.132 | 191.63s |
| फरक | — | +1.7 | +0.6 | 0.0 | +1 | 0 | -316828 | -65716 | -$0.121 | -149970ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Step 3.5 FlashmediumvsQwen3.5-35B-A3BnoneStep 3.5 FlashmediumvsDots 3 Note Previewmediumमोफत उपलब्धStep 3.5 FlashmediumvsQwen3.5-FlashnoneStep 3.5 FlashmediumvsGLM 5.3 FlashlowStep 3.5 FlashmediumvsGPT-5 NanomediumStep 3.5 FlashmediumvsGPT-5.4 MininoneStep 3.5 FlashmediumvsGPT-5.6 TerranoneStep 3.5 FlashmediumvsSeed 2.1 TurbononeStep 3.5 FlashmediumvsGemini 2.5 FlashnoneStep 3.5 FlashmediumvsGPT-5.4none
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 5.5 | 10.0 | |
| सूचनांचे पालन | 8.5 | 6.8 | |
| कोडी सोडवणे | 5.3 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |