#12 Claude Opus 4.8
medium- खर्च
- $0.057
- वेळ
- 23.1s
- टोकन्स
- 2,412 tok
सारांश
Claude Opus 4.8 AI BENCHY वर 8.7 स्कोर करते आणि #12 वर आहे. याची reliability 10.0, pass rate 83.3%, एकूण खर्च $1.006, आणि सरासरी response time 9.34s आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
8.7
सुसंगतता
9.6
10.0
$1.006
एकूण आउटपुट टोकन्स
29,102
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$5.000 / 1M
आउटपुट किंमत
$25.000 / 1M
अस्थिर चाचण्या
1
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:10 पुन्हा चाचणी | 8.8 | 10.0 | $1.983 | तुलना करा | |
| 2026-07-16 22:32 नवीन चाचणी जोडली | 8.8 | 10.0 | $1.931 | तुलना करा | |
| 2026-06-30 22:01 पुन्हा चाचणी | 8.8 | 10.0 | $1.107 | तुलना करा | |
| 2026-06-04 13:45 नवीन चाचणी जोडली | 8.7 | 10.0 | $1.107 | तुलना करा | |
| 2026-05-28 17:34 पहिला रन | 8.7 | 10.0 | $1.006 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-28 17:34 · पहिला रन | 60/60 प्रयत्न | 8.7 | 9.6 | 10.0 | 16/20 | 1 | 29,102 | 0 | $1.006 | 9.34s |
| 2026-06-04 13:45 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 8.7 | 9.6 | 10.0 | 17/21 | 1 | 32,396 | 61,007 | $1.107 | 9.66s |
| फरक | — | 0.0 | 0.0 | 0.0 | -1 | 0 | -3294 | -61007 | -$0.102 | -319ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत |
|---|---|---|
| 2026-05-28 17:42 | $5.000 / 1M | $25.000 / 1M |
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 9.8 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.1 | 5.6 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 10.0 | 10.0 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 10.0 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |