AI BENCHY
Advertise here
#126

Step 3.5 Flash

Stepfun प्रकाशन: 2026-02-01 चाचणी तारीख: 2026-07-16 23:25 stepfun/step-3.5-flash::medium
(medium) (none)

सारांश

Step 3.5 Flash AI BENCHY वर 6.0 स्कोर करते आणि #126 वर आहे. याची reliability 9.2, pass rate 51.5%, एकूण खर्च $0.108, आणि सरासरी response time 174.22s आहे.

Step 3.5 Flash खास का आहे: हे अँटी-एआय युक्त्या मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #13. हे असामान्यपणे जास्त reasoning tokens वापरते, ज्यामुळे runs हळू किंवा महाग होऊ शकतात.

स्कोअर

6.0

सुसंगतता

9.0

विश्वसनीयता

9.2

एकूण खर्च (सध्याची किंमत)

$0.108 ↑ +80.5%

या किमतीवर चाचणी केली: $0.060

एकूण आउटपुट टोकन्स

402,554

एकूण इनपुट टोकन्स

65,707

इनपुट किंमत

$0.100 / 1M

आउटपुट किंमत

$0.300 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 10

प्रति प्रयत्न पास दर: 51.5%

अस्थिर चाचण्या

1

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

174.22s

प्रतिसाद वेळ (कमाल): 1597.85s

प्रतिसाद वेळ (एकूण): 2613.32s

चुकीचे उत्तर: 4 सूचनांचे पालन केले नाही: 3 API त्रुटी: 1 उत्तर नाही: 1 वेळ संपला: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#126 Step 3.5 Flash

medium
खर्च
$0.008
वेळ
277.1s
टोकन्स
23,695 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-07-16 23:25 नवीन चाचणी जोडली 6.0 9.2 $0.108 ↑ सध्याची रन
2026-06-04 14:12 नवीन चाचणी जोडली 7.2 8.9 $0.070 ↑ तुलना करा
2026-05-22 00:30 सूट बदलला 7.4 9.3 $0.015 तुलना करा
2026-05-08 15:30 सूट बदलला 7.6 10.0 $0.011 तुलना करा
2026-04-11 00:35 पहिली नोंदलेली रन 7.9 लागू नाही $0.000 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 23:25 · सध्याची रन6.09.09.211/211402,55465,707$0.108174.22s
2026-06-04 14:12 · नवीन चाचणी जोडली7.29.18.911/202287,56034,431$0.07072.53s
फरक-1.2-0.1+0.30-1+114994+31276+$0.038+101687ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 15:40 $0.090 / 1M $0.300 / 1M
2026-06-30 21:25 $0.100 / 1M $0.300 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Step 3.5 FlashmediumvsInklinglowStep 3.5 FlashmediumvsQwen3.5-FlashnoneStep 3.5 FlashmediumvsGemini 3.1 Flash LitenoneStep 3.5 FlashmediumvsQwen3.5 Plus 2026-04-20noneStep 3.5 Flashmediumvsgpt-oss-120bmediumStep 3.5 FlashmediumvsQwen3.5-35B-A3BnoneStep 3.5 FlashmediumvsGemini 3 Flash PreviewmediumStep 3.5 FlashmediumvsGemini 3.5 FlashhighStep 3.5 FlashmediumvsNemotron 3 Ultramediumमोफत उपलब्धStep 3.5 FlashmediumvsGPT-5.5low

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 2.4 5.2
संयुक्त 6.5 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 5.5 10.0
सूचनांचे पालन 8.3 10.0
कोडी सोडवणे 5.3 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स