AI BENCHY
Advertise here
#34

Step 3.5 Flash

Stepfun प्रकाशन: 2026-02-01 चाचणी तारीख: 2026-04-11 00:35 stepfun/step-3.5-flash::medium
196B एकूण (11B सक्रिय)MoEमुक्त स्रोत
(medium) (none)

सारांश

Step 3.5 Flash AI BENCHY वर 7.9 स्कोर करते आणि #34 वर आहे. याची reliability लागू नाही, pass rate 70.6%, एकूण खर्च $0.000, आणि सरासरी response time 26.78s आहे.

Step 3.5 Flash खास का आहे: हे डेटा पार्सिंग आणि निष्कर्षण मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडी सोडवणे हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
196B एकूण (11B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0
पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

7.9

सुसंगतता

9.1

विश्वसनीयता

लागू नाही

एकूण खर्च (सध्याची किंमत)

$0.000

एकूण आउटपुट टोकन्स

227,511

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$0.100 / 1M

आउटपुट किंमत

$0.300 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 6

प्रति प्रयत्न पास दर: 70.6%

बेंचमार्क कव्हरेज: 49/51 प्रयत्न

अस्थिर चाचण्या

2

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

26.78s

प्रतिसाद वेळ (कमाल): 170.45s

प्रतिसाद वेळ (एकूण): 294.58s

सूचनांचे पालन केले नाही: 3 चुकीचे उत्तर: 3

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#34 Step 3.5 Flash

medium
खर्च
$0.008
वेळ
277.1s
टोकन्स
23,695 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:50 पुन्हा चाचणी 5.9 10.0 $0.132 ↑ तुलना करा
2026-07-16 23:25 नवीन चाचणी जोडली 6.0 9.2 $0.108 ↑ तुलना करा
2026-06-04 14:12 नवीन चाचणी जोडली 7.2 8.9 $0.070 ↑ तुलना करा
2026-05-22 00:30 सूट बदलला 7.4 9.3 $0.015 तुलना करा
2026-05-08 15:30 सूट बदलला 7.6 10.0 $0.011 तुलना करा
2026-04-11 00:35 पहिली नोंदलेली रन 7.9 लागू नाही $0.000 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-04-11 00:35 · पहिली नोंदलेली रन49/51 प्रयत्न7.99.1लागू नाही11/172227,5110$0.00026.78s
2026-08-14 02:50 · पुन्हा चाचणी63/63 प्रयत्न5.98.610.010/212568,53665,716$0.132191.63s
फरक—+2.0+0.5+10-341025-65716-$0.132-164850ms

बेंचमार्क कव्हरेज वेगळे आहे: 49/51 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Step 3.5 FlashmediumvsQwen3.5-35B-A3BnoneStep 3.5 FlashmediumvsDots 3 Note Previewmediumमोफत उपलब्धStep 3.5 FlashmediumvsQwen3.5-FlashnoneStep 3.5 FlashmediumvsGLM 5.3 FlashlowStep 3.5 FlashmediumvsGPT-5 NanomediumStep 3.5 FlashmediumvsGPT-5.4 MininoneStep 3.5 FlashmediumvsGPT-5.6 TerranoneStep 3.5 FlashmediumvsSeed 2.1 TurbononeStep 3.5 FlashmediumvsGemini 2.5 FlashnoneStep 3.5 FlashmediumvsGPT-5.4none

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 5.5 10.0
सूचनांचे पालन 8.5 6.8
कोडी सोडवणे 5.3 10.0
टूल कॉलिंग 10.0 10.0

तुलना केलेली मॉडेल्स