AI BENCHY
Advertise here
#30

Claude Sonnet 4.6

Anthropic प्रकाशन: 2026-02-17 चाचणी तारीख: 2026-04-11 01:44 anthropic/claude-sonnet-4.6::medium
~1T एकूण (~100B सक्रिय)MoEबंद स्रोतअंदाजित
(medium) (none)

सारांश

Claude Sonnet 4.6 AI BENCHY वर 8.0 स्कोर करते आणि #30 वर आहे. याची reliability लागू नाही, pass rate 74.1%, एकूण खर्च $1.161, आणि सरासरी response time 12.66s आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~1T एकूण (~100B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

9.5

विश्वसनीयता

लागू नाही

एकूण आउटपुट टोकन्स

68,852

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$3.000 / 1M

आउटपुट किंमत

$15.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 5

प्रति प्रयत्न पास दर: 74.1%

अस्थिर चाचण्या

1

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

12.66s

प्रतिसाद वेळ (कमाल): 46.35s

प्रतिसाद वेळ (एकूण): 126.62s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#30 Claude Sonnet 4.6

medium
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:03 पुन्हा चाचणी 7.8 10.0 $2.126 तुलना करा
2026-07-16 22:27 नवीन चाचणी जोडली 7.8 10.0 $2.057 तुलना करा
2026-06-04 13:42 नवीन चाचणी जोडली 7.4 10.0 $1.418 तुलना करा
2026-05-22 00:14 सूट बदलला 7.6 10.0 $1.330 तुलना करा
2026-04-11 01:44 पहिली नोंदलेली रन 8.0 लागू नाही $1.161 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-04-11 01:44 · पहिली नोंदलेली रन54/54 प्रयत्न8.09.5लागू नाही13/18168,8520$1.16112.66s
2026-06-04 13:42 · नवीन चाचणी जोडली63/63 प्रयत्न7.49.110.013/21284,67349,112$1.41817.06s
फरक+0.7+0.40-1-15821-49112-$0.257-4402ms

बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.5 10.0
कोडिंग 10.0 10.0
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 10.0 10.0
टूल कॉलिंग 10.0 10.0

तुलना केलेली मॉडेल्स