AI BENCHY
Advertise here
#27

Step 3.7 Flash

Stepfun प्रकाशन: 2026-05-29 चाचणी तारीख: 2026-07-16 22:50 stepfun/step-3.7-flash::medium
198B एकूण (11B सक्रिय)MoEमुक्त स्रोत
(high) (medium) (low)

सारांश

Step 3.7 Flash AI BENCHY वर 8.0 स्कोर करते आणि #27 वर आहे. याची reliability 9.9, pass rate 72.7%, एकूण खर्च $0.515, आणि सरासरी response time 26.37s आहे.

Step 3.7 Flash खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर Samanya Buddhimatta हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
198B एकूण (11B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0
पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

8.0

सुसंगतता

8.9

विश्वसनीयता

9.9

एकूण खर्च (सध्याची किंमत)

$0.515

एकूण आउटपुट टोकन्स

427,572

एकूण इनपुट टोकन्स

114,062

इनपुट किंमत

$0.200 / 1M

आउटपुट किंमत

$1.150 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 8

प्रति प्रयत्न पास दर: 72.7%

बेंचमार्क कव्हरेज: 64/66 प्रयत्न

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

26.37s

प्रतिसाद वेळ (कमाल): 152.83s

प्रतिसाद वेळ (एकूण): 580.25s

चुकीचे उत्तर: 5 सूचनांचे पालन केले नाही: 1 अवैध टूल कॉल: 1 उत्तर नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#27 Step 3.7 Flash

medium
खर्च
$0.006
वेळ
46.2s
टोकन्स
4,466 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:31 पुन्हा चाचणी 7.9 10.0 $0.495 तुलना करा
2026-07-16 22:50 नवीन चाचणी जोडली 8.0 9.9 $0.515 सध्याची रन
2026-06-04 13:52 नवीन चाचणी जोडली 8.0 9.9 $0.376 तुलना करा
2026-05-29 11:49 पहिला रन 7.9 9.9 $0.404 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 22:50 · नवीन चाचणी जोडली64/66 प्रयत्न8.08.99.914/223427,572114,062$0.51526.37s
2026-06-04 13:52 · नवीन चाचणी जोडली61/63 प्रयत्न8.09.39.914/212319,95839,981$0.37620.35s
फरक—0.0-0.40.00+1+107614+74081+$0.139+6021ms

बेंचमार्क कव्हरेज वेगळे आहे: 64/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 61/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 15:40 $0.200 / 1M $1.150 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Step 3.7 FlashmediumvsGPT-5.2 ChatnoneStep 3.7 FlashmediumvsQwen3.8 27BlowStep 3.7 FlashmediumvsKimi K3maxStep 3.7 FlashmediumvsQwen3.7 PlusmediumStep 3.7 FlashmediumvsGPT-5.6 TerrahighStep 3.7 FlashmediumvsQwen3.6 PlusmediumStep 3.7 FlashmediumvsInklingmediumStep 3.7 FlashmediumvsGemini 3.5 Flash LitemediumStep 3.7 FlashmediumvsGLM 5.2highStep 3.7 FlashmediumvsGLM 5.2medium

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.7 7.9
कोडिंग 8.8 7.8
संयुक्त 7.3 5.8
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 4.0 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 5.7 9.9
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स