#32 Step 3.7 Flash
medium- खर्च
- $0.006
- वेळ
- 46.2s
- टोकन्स
- 4,466 tok
Stepfun
प्रकाशन: 2026-05-29
चाचणी तारीख: 2026-05-29 11:49
stepfun/step-3.7-flash::medium
198B एकूण (11B सक्रिय)MoEमुक्त स्रोत
सारांश
Step 3.7 Flash AI BENCHY वर 7.9 स्कोर करते आणि #32 वर आहे. याची reliability 9.9, pass rate 71.7%, एकूण खर्च $0.404, आणि सरासरी response time 20.29s आहे.
Step 3.7 Flash खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर Samanya Buddhimatta हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 198B एकूण (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
7.9
सुसंगतता
9.2
9.9
$0.404
एकूण आउटपुट टोकन्स
344,492
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.200 / 1M
आउटपुट किंमत
$1.150 / 1M
अस्थिर चाचण्या
2
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:31 पुन्हा चाचणी | 7.9 | 10.0 | $0.495 | तुलना करा | |
| 2026-07-16 22:50 नवीन चाचणी जोडली | 8.0 | 9.9 | $0.515 | तुलना करा | |
| 2026-06-04 13:52 नवीन चाचणी जोडली | 8.0 | 9.9 | $0.376 | तुलना करा | |
| 2026-05-29 11:49 पहिला रन | 7.9 | 9.9 | $0.404 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-29 11:49 · पहिला रन | 60/60 प्रयत्न | 7.9 | 9.2 | 9.9 | 13/20 | 2 | 344,492 | 0 | $0.404 | 20.29s |
| 2026-08-14 02:31 · पुन्हा चाचणी | 66/66 प्रयत्न | 7.9 | 8.9 | 10.0 | 13/22 | 3 | 409,709 | 114,191 | $0.495 | 23.51s |
| फरक | — | 0.0 | +0.3 | -0.1 | 0 | -1 | -65217 | -114191 | -$0.091 | -3220ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Step 3.7 FlashmediumvsGPT-5.2 ChatnoneStep 3.7 FlashmediumvsQwen3.8 27BlowStep 3.7 FlashmediumvsKimi K3maxStep 3.7 FlashmediumvsQwen3.7 PlusmediumStep 3.7 FlashmediumvsGPT-5.6 TerrahighStep 3.7 FlashmediumvsQwen3.6 PlusmediumStep 3.7 FlashmediumvsInklingmediumStep 3.7 FlashmediumvsGemini 3.5 Flash LitemediumStep 3.7 FlashmediumvsGLM 5.2highStep 3.7 FlashmediumvsGLM 5.2medium
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.7 | 7.9 | |
| कोडिंग | 8.2 | 6.7 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 7.7 | 10.0 | |
| Samanya Buddhimatta | 4.0 | 10.0 | |
| सूचनांचे पालन | 9.8 | 10.0 | |
| कोडी सोडवणे | 5.7 | 9.9 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |