डोमेन-विशिष्ट x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

182

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर182 वेळ संपला31 अतिरिक्त फॉरमॅटिंग8 API त्रुटी2 उत्तर नाही2

श्रेणी

डोमेन-विशिष्ट182 अँटी-एआय युक्त्या165 कोडी सोडवणे85 सूचनांचे पालन44 संयुक्त37 कोडिंग28 डेटा पार्सिंग आणि निष्कर्षण19 Samanya Buddhimatta10 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#74	GLM 4.7 Flash none	Z.ai	1	7.7	2/3	744ms
#80	MiniMax M2.7 medium	Minimax	1	3.0	0/3	19.0s
#98	LFM2-24B-A2B none	Liquid	1	5.9	1/3	287ms

←

1 2 3 4 5 6 7

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स