AI BENCHY
Advertise here
#38

Claude Opus 4.8

Anthropic प्रकाशन: 2026-05-28 चाचणी तारीख: 2026-07-16 22:30 anthropic/claude-opus-4.8::low
~5T एकूण (~500B सक्रिय)MoEबंद स्रोतअंदाजित
(medium) (low) (none)

सारांश

Claude Opus 4.8 AI BENCHY वर 7.8 स्कोर करते आणि #38 वर आहे. याची reliability 10.0, pass rate 80.3%, एकूण खर्च $2.077, आणि सरासरी response time 12.74s आहे.

Claude Opus 4.8 खास का आहे: हे कोडी सोडवणे मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~5T एकूण (~500B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

7.8

सुसंगतता

8.9

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$2.077

एकूण आउटपुट टोकन्स

51,758

एकूण इनपुट टोकन्स

156,525

इनपुट किंमत

$5.000 / 1M

आउटपुट किंमत

$25.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 6

प्रति प्रयत्न पास दर: 80.3%

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

12.74s

प्रतिसाद वेळ (कमाल): 127.97s

प्रतिसाद वेळ (एकूण): 280.29s

चुकीचे उत्तर: 4 अतिरिक्त फॉरमॅटिंग: 1 उत्तर नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low
खर्च
$0.031
वेळ
14.1s
टोकन्स
1,345 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:09 पुन्हा चाचणी 7.8 10.0 $2.089 तुलना करा
2026-07-16 22:30 नवीन चाचणी जोडली 7.8 10.0 $2.077 सध्याची रन
2026-06-30 22:08 पहिला रन 7.7 10.0 $1.270 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 22:30 · नवीन चाचणी जोडली66/66 प्रयत्न7.88.910.016/22351,758156,525$2.07712.74s
2026-06-30 22:08 · पहिला रन63/63 प्रयत्न7.78.810.015/21338,60260,946$1.27010.83s
फरक—0.0+0.10.0+10+13156+95579+$0.807+1912ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-30 22:09 $5.000 / 1M $25.000 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Claude Opus 4.8lowvsSeed-2.0-LitemediumClaude Opus 4.8lowvsQwen3.7 FlashhighClaude Opus 4.8lowvsClaude Sonnet 4.6mediumClaude Opus 4.8lowvsGLM 5mediumClaude Opus 4.8lowvsGPT-5.6 TerramediumClaude Opus 4.8lowvsSeed-2.0-CodelowClaude Opus 4.8lowvsGLM 5.2mediumClaude Opus 4.8lowvsClaude Opus 4.6mediumClaude Opus 4.8lowvsGemini 3.5 Flash LitemediumClaude Opus 4.8lowvsDeepSeek V4 Prohigh

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 6.6 4.6
संयुक्त 9.9 10.0
डेटा पार्सिंग आणि निष्कर्षण 6.3 5.8
डोमेन-विशिष्ट 5.3 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 10.0 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स