AI BENCHY
Advertise here
#76

Claude Opus 4.8

Anthropic प्रकाशन: 2026-05-28 चाचणी तारीख: 2026-07-16 22:29 anthropic/claude-opus-4.8::none
(medium) (low) (none)

सारांश

Claude Opus 4.8 AI BENCHY वर 7.3 स्कोर करते आणि #76 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $1.166, आणि सरासरी response time 4.91s आहे.

Claude Opus 4.8 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #15.

स्कोअर

7.3

सुसंगतता

9.2

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$1.166

एकूण आउटपुट टोकन्स

16,797

एकूण इनपुट टोकन्स

149,206

इनपुट किंमत

$5.000 / 1M

आउटपुट किंमत

$25.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 9

प्रति प्रयत्न पास दर: 63.6%

अस्थिर चाचण्या

2

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

4.91s

प्रतिसाद वेळ (कमाल): 35.03s

प्रतिसाद वेळ (एकूण): 108.03s

चुकीचे उत्तर: 4 अतिरिक्त फॉरमॅटिंग: 3 सूचनांचे पालन केले नाही: 1 उत्तर नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#76 Claude Opus 4.8

none
खर्च
$0.053
वेळ
22.0s
टोकन्स
2,253 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-07-16 22:29 नवीन चाचणी जोडली 7.3 10.0 $1.166 सध्याची रन
2026-06-30 22:01 पुन्हा चाचणी 7.2 10.0 $0.539 तुलना करा
2026-06-04 13:44 नवीन चाचणी जोडली 7.0 10.0 $0.539 तुलना करा
2026-05-28 17:34 पहिला रन 7.3 10.0 $0.519 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 22:29 · सध्याची रन7.39.210.013/22216,797149,206$1.1664.91s
2026-06-30 22:01 · पुन्हा चाचणी7.29.210.012/2128,10767,104$0.5393.48s
फरक0.00.00.0+10+8690+82102+$0.628+1434ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 15:40 $5.000 / 1M $25.000 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Claude Opus 4.8nonevsQwen3.7 FlashlowClaude Opus 4.8nonevsStep 3.7 FlashlowClaude Opus 4.8nonevsGemini 3.1 Flash LitemediumClaude Opus 4.8nonevsKimi K2.6mediumClaude Opus 4.8nonevsGemini 3.1 Flash Lite PreviewmediumClaude Opus 4.8nonevsKAT-Coder-Pro V2.5highClaude Opus 4.8nonevsClaude Sonnet 4.6noneClaude Opus 4.8nonevsQwen3.5 Plus 2026-04-20mediumClaude Opus 4.8nonevsKAT-Coder-Pro V2.5lowClaude Opus 4.8nonevsQwen3.7 Plusnone

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.5 10.0
कोडिंग 5.5 10.0
संयुक्त 9.8 10.0
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.8
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 9.9 10.0
कोडी सोडवणे 7.7 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स