AI BENCHY
Advertise here
#67

Claude Opus 4.8

Anthropic प्रकाशन: 2026-05-28 चाचणी तारीख: 2026-08-14 02:09 anthropic/claude-opus-4.8::low
~5T एकूण (~500B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

Claude Opus 4.8 AI BENCHY वर 7.8 स्कोर करते आणि #67 वर आहे. याची reliability 10.0, pass rate 80.3%, एकूण खर्च $2.089, आणि सरासरी response time 12.88s आहे.

Claude Opus 4.8 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #16.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~5T एकूण (~500B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

8.9

एकूण आउटपुट टोकन्स

52,237

एकूण इनपुट टोकन्स

156,522

इनपुट किंमत

$5.000 / 1M

आउटपुट किंमत

$25.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 6

प्रति प्रयत्न पास दर: 80.3%

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

12.88s

प्रतिसाद वेळ (कमाल): 127.97s

प्रतिसाद वेळ (एकूण): 283.32s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#67 Claude Opus 4.8

low
खर्च
$0.031
वेळ
14.1s
टोकन्स
1,345 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:09 पुन्हा चाचणी 7.8 10.0 $2.089 सध्याची रन
2026-07-16 22:30 नवीन चाचणी जोडली 7.8 10.0 $2.077 तुलना करा
2026-06-30 22:08 पहिला रन 7.7 10.0 $1.270 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 02:09 · सध्याची रन66/66 प्रयत्न7.88.910.016/22352,237156,522$2.08912.88s
2026-07-16 22:30 · नवीन चाचणी जोडली66/66 प्रयत्न7.88.910.016/22351,758156,525$2.07712.74s
फरक0.00.00.000+479-3+$0.012+138ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $5.000 / 1M $25.000 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 6.6 4.6
संयुक्त 9.9 10.0
डेटा पार्सिंग आणि निष्कर्षण 6.3 5.8
डोमेन-विशिष्ट 5.3 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 10.0 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स