AI BENCHY
Advertise here
#56

Step 3.7 Flash

Stepfun प्रकाशन: 2026-05-29 चाचणी तारीख: 2026-06-04 13:49 stepfun/step-3.7-flash::low
198B एकूण (11B सक्रिय)MoEमुक्त स्रोत
(high) (medium) (low)

सारांश

Step 3.7 Flash AI BENCHY वर 7.3 स्कोर करते आणि #56 वर आहे. याची reliability 10.0, pass rate 68.3%, एकूण खर्च $0.341, आणि सरासरी response time 15.74s आहे.

Step 3.7 Flash खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर Samanya Buddhimatta हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
198B एकूण (11B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0
पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

7.3

सुसंगतता

8.4

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.341

एकूण आउटपुट टोकन्स

289,325

एकूण इनपुट टोकन्स

40,101

इनपुट किंमत

$0.200 / 1M

आउटपुट किंमत

$1.150 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 9

प्रति प्रयत्न पास दर: 68.3%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

15.74s

प्रतिसाद वेळ (कमाल): 124.75s

प्रतिसाद वेळ (एकूण): 330.63s

चुकीचे उत्तर: 8 उत्तर नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#56 Step 3.7 Flash

low
अवैध SVG
खर्च
$0.004
वेळ
25.3s
टोकन्स
3,072 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:29 पुन्हा चाचणी 7.1 10.0 $0.390 तुलना करा
2026-07-16 22:46 नवीन चाचणी जोडली 7.3 10.0 $0.454 तुलना करा
2026-06-04 13:49 नवीन चाचणी जोडली 7.3 10.0 $0.341 सध्याची रन
2026-05-29 11:49 पहिला रन 7.4 10.0 $0.336 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-06-04 13:49 · नवीन चाचणी जोडली63/63 प्रयत्न7.38.410.012/214289,32540,101$0.34115.74s
2026-08-14 02:29 · पुन्हा चाचणी66/66 प्रयत्न7.18.110.011/225320,393103,842$0.39017.87s
फरक—+0.1+0.30.0+1-1-31068-63741-$0.049-2122ms

बेंचमार्क कव्हरेज वेगळे आहे: 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 14:42 $0.200 / 1M $1.150 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Step 3.7 FlashlowvsMuse Glimmer 30BlowStep 3.7 FlashlowvsSolar Pro 4highStep 3.7 FlashlowvsQwen3.5-122B-A10BmediumStep 3.7 FlashlowvsGrok 4.3mediumStep 3.7 FlashlowvsMuse Glimmer 30BmediumStep 3.7 FlashlowvsGPT-5.6 SolnoneStep 3.7 FlashlowvsQwen3.7 FlashlowStep 3.7 FlashlowvsDeepSeek V3.2mediumStep 3.7 FlashlowvsQwen3.5 Plus 2026-04-20mediumStep 3.7 FlashlowvsGLM 5.1medium

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.7 7.9
कोडिंग 8.2 7.2
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.8
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 3.4 9.3
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 5.5 9.9
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स