AI BENCHY
Advertise here
#22

Claude Sonnet 5

Anthropic प्रकाशन: 2026-06-30 चाचणी तारीख: 2026-07-16 22:33 anthropic/claude-sonnet-5::medium
~1T एकूण (~100B सक्रिय)MoEबंद स्रोतअंदाजित
(medium) (none)

सारांश

Claude Sonnet 5 AI BENCHY वर 8.3 स्कोर करते आणि #22 वर आहे. याची reliability 10.0, pass rate 80.3%, एकूण खर्च $0.922, आणि सरासरी response time 12.52s आहे.

Claude Sonnet 5 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर संयुक्त हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~1T एकूण (~100B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

9.0

एकूण आउटपुट टोकन्स

63,207

एकूण इनपुट टोकन्स

145,956

इनपुट किंमत

$2.000 / 1M

आउटपुट किंमत

$10.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 6

प्रति प्रयत्न पास दर: 80.3%

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

12.52s

प्रतिसाद वेळ (कमाल): 66.71s

प्रतिसाद वेळ (एकूण): 275.42s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#22 Claude Sonnet 5

medium
खर्च
$0.007
वेळ
6.4s
टोकन्स
832 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:11 पुन्हा चाचणी 8.2 10.0 $0.922 तुलना करा
2026-07-16 22:33 नवीन चाचणी जोडली 8.3 10.0 $0.922 सध्याची रन
2026-06-30 21:33 पहिला रन 7.9 10.0 $0.550 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 22:33 · नवीन चाचणी जोडली66/66 प्रयत्न8.39.010.016/22363,207145,956$0.92212.52s
2026-06-30 21:33 · पहिला रन63/63 प्रयत्न7.99.010.015/21341,68567,416$0.5509.94s
फरक+0.50.00.0+10+21522+78540+$0.373+2581ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-30 21:35 $2.000 / 1M $10.000 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 9.0 7.9
संयुक्त 7.3 6.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 4.8 3.2
सूचनांचे पालन 9.9 10.0
कोडी सोडवणे 7.7 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स