#60 Step 3.7 Flash
low
अवैध SVG
- खर्च
- $0.004
- वेळ
- 25.3s
- टोकन्स
- 3,072 tok
Stepfun
प्रकाशन: 2026-05-29
चाचणी तारीख: 2026-05-29 11:49
stepfun/step-3.7-flash::low
198B एकूण (11B सक्रिय)MoEमुक्त स्रोत
सारांश
Step 3.7 Flash AI BENCHY वर 7.4 स्कोर करते आणि #60 वर आहे. याची reliability 10.0, pass rate 68.3%, एकूण खर्च $0.336, आणि सरासरी response time 16.06s आहे.
Step 3.7 Flash खास का आहे: हे कोडिंग मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर Samanya Buddhimatta हा सर्वात कमकुवत भाग आहे, rank #18.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 198B एकूण (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
7.4
सुसंगतता
8.7
10.0
$0.336
एकूण आउटपुट टोकन्स
285,209
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.200 / 1M
आउटपुट किंमत
$1.150 / 1M
अस्थिर चाचण्या
3
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:29 पुन्हा चाचणी | 7.1 | 10.0 | $0.390 | तुलना करा | |
| 2026-07-16 22:46 नवीन चाचणी जोडली | 7.3 | 10.0 | $0.454 | तुलना करा | |
| 2026-06-04 13:49 नवीन चाचणी जोडली | 7.3 | 10.0 | $0.341 | तुलना करा | |
| 2026-05-29 11:49 पहिला रन | 7.4 | 10.0 | $0.336 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-29 11:49 · पहिला रन | 60/60 प्रयत्न | 7.4 | 8.7 | 10.0 | 12/20 | 3 | 285,209 | 0 | $0.336 | 16.06s |
| 2026-07-16 22:46 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 7.3 | 8.1 | 10.0 | 12/22 | 5 | 376,581 | 103,833 | $0.454 | 20.68s |
| फरक | — | +0.1 | +0.6 | 0.0 | 0 | -2 | -91372 | -103833 | -$0.119 | -4627ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Step 3.7 FlashlowvsMuse Glimmer 30BlowStep 3.7 FlashlowvsSolar Pro 4highStep 3.7 FlashlowvsQwen3.5-122B-A10BmediumStep 3.7 FlashlowvsGrok 4.3mediumStep 3.7 FlashlowvsMuse Glimmer 30BmediumStep 3.7 FlashlowvsGPT-5.6 SolnoneStep 3.7 FlashlowvsQwen3.7 FlashlowStep 3.7 FlashlowvsDeepSeek V3.2mediumStep 3.7 FlashlowvsQwen3.5 Plus 2026-04-20mediumStep 3.7 FlashlowvsGLM 5.1medium
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.7 | 7.9 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 5.8 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 3.4 | 9.3 | |
| सूचनांचे पालन | 9.8 | 10.0 | |
| कोडी सोडवणे | 5.5 | 9.9 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |