#3 Claude Opus 4.7
medium- खर्च
- $0.059
- वेळ
- 26.8s
- टोकन्स
- 2,475 tok
सारांश
Claude Opus 4.7 AI BENCHY वर 9.2 स्कोर करते आणि #3 वर आहे. याची reliability लागू नाही, pass rate 88.9%, एकूण खर्च $0.447, आणि सरासरी response time 3.53s आहे.
Claude Opus 4.7 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #11. हे एकूणात सर्वाधिक rank असलेल्या मॉडेल्सपैकी एक आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
9.2
सुसंगतता
10.0
लागू नाही
$0.447
एकूण आउटपुट टोकन्स
6,716
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$5.000 / 1M
आउटपुट किंमत
$25.000 / 1M
अस्थिर चाचण्या
0
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:08 पुन्हा चाचणी | 8.7 | 10.0 | $1.476 | तुलना करा | |
| 2026-07-16 22:28 नवीन चाचणी जोडली | 8.7 | 10.0 | $1.477 | तुलना करा | |
| 2026-06-04 13:44 नवीन चाचणी जोडली | 8.7 | 10.0 | $0.679 | तुलना करा | |
| 2026-05-22 00:18 पुन्हा चाचणी | 8.9 | 10.0 | $0.625 | तुलना करा | |
| 2026-04-16 15:59 पहिली नोंदलेली रन | 9.2 | लागू नाही | $0.447 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-16 15:59 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 9.2 | 10.0 | लागू नाही | 16/18 | 0 | 6,716 | 0 | $0.447 | 3.53s |
| 2026-06-04 13:44 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 8.7 | 9.6 | 10.0 | 17/21 | 1 | 14,056 | 65,406 | $0.679 | 4.73s |
| फरक | — | +0.6 | +0.4 | -1 | -1 | -7340 | -65406 | -$0.233 | -1194ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.3 | 10.0 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 7.7 | 10.0 | |
| Samanya Buddhimatta | 10.0 | 10.0 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 10.0 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 |