- स्कोअर
- 8.6 (+2.02 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.061 · 95.9% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 7.51s · 89.7% वेगवान
सारांश
Step 3.7 Flash AI BENCHY वर 6.6 स्कोर करते आणि #209 वर आहे. याची reliability 10.0, pass rate 58.0%, एकूण खर्च $1.478, आणि सरासरी response time 72.72s आहे.
Step 3.7 Flash खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर कोडी सोडवणे हा सर्वात कमकुवत भाग आहे, rank #16.
शिफारस केलेले पर्याय
त्याऐवजी यापैकी एक मॉडेल निवडण्याची शिफारस करतो:
- स्कोअर
- 9.4 (+2.80 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.183 · 87.7% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 6.24s · 91.4% वेगवान
- स्कोअर
- 8.3 (+1.70 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.047 · 96.8% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 18.07s · 75.2% वेगवान
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 198B एकूण (11B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
6.6
सुसंगतता
8.5
10.0
एकूण आउटपुट टोकन्स
1,100,052
एकूण इनपुट टोकन्स
421,200
इनपुट किंमत
$0.200 / 1M
आउटपुट किंमत
$1.150 / 1M
कॅश वाचण्याची किंमत
$0.040 / 1M
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
4
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#209 Step 3.7 Flash
high- खर्च
- $0.007
- वेळ
- 63.6s
- टोकन्स
- 6,030 tok
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-10-01 02:09 पुन्हा चाचणी | 6.6 | 10.0 | $1.478 ↑ | सध्याची रन | |
| 2026-07-16 22:46 नवीन चाचणी जोडली | 6.9 | 10.0 | $1.207 | तुलना करा | |
| 2026-06-04 14:10 नवीन चाचणी जोडली | 7.0 | 10.0 | $1.148 | तुलना करा | |
| 2026-05-29 11:53 पहिला रन | 7.1 | 9.9 | $0.960 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 02:09 · सध्याची रन | 69/69 प्रयत्न | 6.6 | 8.5 | 10.0 | 11/23 | 4 | 1,100,052 | 421,200 | $1.478 | 72.72s |
| 2026-07-16 22:46 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 6.9 | 8.0 | 10.0 | 11/22 | 5 | 1,032,395 | 98,691 | $1.207 | 64.68s |
| फरक | — | -0.3 | +0.5 | 0.0 | 0 | -1 | +67657 | +322509 | +$0.271 | +8036ms |
बेंचमार्क कव्हरेज वेगळे आहे: 69/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत | कॅश वाचण्याची किंमत | कॅश लिहिण्याची किंमत |
|---|---|---|---|---|
| 2026-08-14 12:51 | $0.200 / 1M | $1.150 / 1M | लागू नाही | लागू नाही |
| 2026-10-01 18:33 | $0.200 / 1M | $1.150 / 1M | $0.040 / 1M | लागू नाही |
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| स्वायत्त एजंट कार्ये | 5.4 | 9.6 | |
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| कोडिंग | 4.0 | 6.0 | |
| संयुक्त | 8.7 | 6.9 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 3.6 | 7.2 | |
| Samanya Buddhimatta | 5.5 | 10.0 | |
| सूचनांचे पालन | 9.8 | 10.0 | |
| कोडी सोडवणे | 5.3 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |