AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#115

Step 3.7 Flash

Stepfun प्रकाशन: 2026-05-29 चाचणी तारीख: 2026-08-14 02:29 stepfun/step-3.7-flash::low
198B एकूण (11B सक्रिय)MoEमुक्त स्रोत

सारांश

Step 3.7 Flash AI BENCHY वर 7.1 स्कोर करते आणि #115 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $0.390, आणि सरासरी response time 17.87s आहे.

Step 3.7 Flash खास का आहे: हे कोडिंग मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #3 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #17.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
198B एकूण (11B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0

सुसंगतता

8.1

एकूण आउटपुट टोकन्स

320,393

एकूण इनपुट टोकन्स

103,842

इनपुट किंमत

$0.200 / 1M

आउटपुट किंमत

$1.150 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 11

प्रति प्रयत्न पास दर: 63.6%

अस्थिर चाचण्या

5

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

17.87s

प्रतिसाद वेळ (कमाल): 124.75s

प्रतिसाद वेळ (एकूण): 393.04s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#115 Step 3.7 Flash

low
अवैध SVG
खर्च
$0.004
वेळ
25.3s
टोकन्स
3,072 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:29 पुन्हा चाचणी 7.1 10.0 $0.390 सध्याची रन
2026-07-16 22:46 नवीन चाचणी जोडली 7.3 10.0 $0.454 तुलना करा
2026-06-04 13:49 नवीन चाचणी जोडली 7.3 10.0 $0.341 तुलना करा
2026-05-29 11:49 पहिला रन 7.4 10.0 $0.336 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 02:29 · सध्याची रन66/66 प्रयत्न7.18.110.011/225320,393103,842$0.39017.87s
2026-06-04 13:49 · नवीन चाचणी जोडली63/63 प्रयत्न7.38.410.012/214289,32540,101$0.34115.74s
फरक-0.1-0.30.0-1+1+31068+63741+$0.049+2122ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.200 / 1M $1.150 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.7 7.9
कोडिंग 8.2 7.2
संयुक्त 7.3 5.8
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.8
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 3.4 9.3
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 5.5 9.9
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स