AI BENCHY
Advertise here
#70

Claude Opus 4.8

Anthropic प्रकाशन: 2026-05-28 चाचणी तारीख: 2026-06-30 22:01 anthropic/claude-opus-4.8::none
(medium) (low) (none)

सारांश

Claude Opus 4.8 AI BENCHY वर 7.2 स्कोर करते आणि #70 वर आहे. याची reliability 10.0, pass rate 61.9%, एकूण खर्च $0.539, आणि सरासरी response time 3.48s आहे.

Claude Opus 4.8 खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #3 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #12. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.

स्कोअर

7.2

सुसंगतता

9.2

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.539

एकूण आउटपुट टोकन्स

8,107

एकूण इनपुट टोकन्स

67,104

इनपुट किंमत

$5.000 / 1M

आउटपुट किंमत

$25.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 9

प्रति प्रयत्न पास दर: 61.9%

अस्थिर चाचण्या

2

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

3.48s

प्रतिसाद वेळ (कमाल): 17.73s

प्रतिसाद वेळ (एकूण): 73.00s

चुकीचे उत्तर: 4 अतिरिक्त फॉरमॅटिंग: 3 सूचनांचे पालन केले नाही: 1 उत्तर नाही: 1

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#70 Claude Opus 4.8

none
खर्च
$0.053
वेळ
22.0s
टोकन्स
2,253 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-06-30 22:01 पुन्हा चाचणी 7.2 10.0 $0.539 सध्याची रन
2026-06-04 13:44 नवीन चाचणी जोडली 7.0 10.0 $0.539 तुलना करा
2026-05-28 17:34 पहिला रन 7.3 10.0 $0.519 तुलना करा

रन तुलना

रनस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-06-30 22:01 · सध्याची रन7.29.210.012/2128,10767,104$0.5393.48s
2026-05-28 17:34 · पहिला रन7.39.210.012/2028,0980$0.5193.51s
फरक-0.10.00.000+9+67104+$0.020-33ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 15:40 $5.000 / 1M $25.000 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Claude Opus 4.8nonevsGemini 3 Flash PreviewlowClaude Opus 4.8nonevsMiMo-V2.5-PromediumClaude Opus 4.8nonevsClaude Sonnet 4.6noneClaude Opus 4.8nonevsSeed-2.0-MinimediumClaude Opus 4.8nonevsGemini 3.5 FlashhighClaude Opus 4.8nonevsGemini 3 Flash PreviewmediumClaude Opus 4.8nonevsNemotron 3 Ultra 550b A55bmediumमोफत उपलब्धClaude Opus 4.8nonevsGPT-5.5low

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.5 10.0
कोडिंग 5.5 10.0
संयुक्त 9.5 10.0
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.8
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 9.9 10.0
कोडी सोडवणे 7.7 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स