AI BENCHY
Advertise here
#131

Step 3.7 Flash

Stepfun प्रकाशन: 2026-05-29 चाचणी तारीख: 2026-08-14 02:45 stepfun/step-3.7-flash::high
198B एकूण (11B सक्रिय)MoEमुक्त स्रोत
(high) (medium) (low)

सारांश

Step 3.7 Flash AI BENCHY वर 6.8 स्कोर करते आणि #131 वर आहे. याची reliability 10.0, pass rate 60.6%, एकूण खर्च $1.229, आणि सरासरी response time 70.10s आहे.

Step 3.7 Flash खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडी सोडवणे हा सर्वात कमकुवत भाग आहे, rank #17.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
198B एकूण (11B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0

सुसंगतता

8.4

एकूण आउटपुट टोकन्स

1,050,900

एकूण इनपुट टोकन्स

98,700

इनपुट किंमत

$0.200 / 1M

आउटपुट किंमत

$1.150 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 11

प्रति प्रयत्न पास दर: 60.6%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

70.10s

प्रतिसाद वेळ (कमाल): 364.99s

प्रतिसाद वेळ (एकूण): 1542.14s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#131 Step 3.7 Flash

high
खर्च
$0.007
वेळ
63.6s
टोकन्स
6,030 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:45 पुन्हा चाचणी 6.8 10.0 $1.229 सध्याची रन
2026-07-16 22:46 नवीन चाचणी जोडली 6.9 10.0 $1.207 तुलना करा
2026-06-04 14:10 नवीन चाचणी जोडली 7.0 10.0 $1.148 तुलना करा
2026-05-29 11:53 पहिला रन 7.1 9.9 $0.960 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 02:45 · सध्याची रन66/66 प्रयत्न6.88.410.011/2241,050,90098,700$1.22970.10s
2026-06-04 14:10 · नवीन चाचणी जोडली63/63 प्रयत्न7.08.210.011/214991,35538,391$1.14864.46s
फरक-0.2+0.20.000+59545+60309+$0.081+5642ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.200 / 1M $1.150 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 4.0 6.0
संयुक्त 8.7 6.9
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.6 7.2
Samanya Buddhimatta 5.5 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 5.3 7.2
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स