AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट

अतिरिक्त फॉरमॅटिंग

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना अतिरिक्त फॉरमॅटिंग येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↓.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

Claude Opus 4.6 2

संबंधित अपयश कारणे

चुकीचे उत्तर98 वेळ संपला17 अतिरिक्त फॉरमॅटिंग3 API त्रुटी1 उत्तर नाही1

संबंधित श्रेण्या

अँटी-एआय युक्त्या8 डोमेन-विशिष्ट3 कोडी सोडवणे1 डेटा पार्सिंग आणि निष्कर्षण1

क्रमांक	मॉडेल	कंपनी	अतिरिक्त फॉरमॅटिंग संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#26	Claude Opus 4.6 medium	Anthropic	2	10.0	0/3	83.4s
#11	Claude Sonnet 4.6 medium	Anthropic	1	10.0	0/3	0ms

डोमेन-विशिष्ट

अतिरिक्त फॉरमॅटिंग

अतिरिक्त फॉरमॅटिंग संख्या नुसार शीर्ष मॉडेल्स

अतिरिक्त फॉरमॅटिंग संख्या विरुद्ध सरासरी स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स