कोडिंग x उत्तर नाही क्रमवारी

AI BENCHY श्रेणी अपयशे

कोडिंग मध्ये कोणत्या AI मॉडेल्सना उत्तर नाही येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर120 उत्तर नाही18 सूचनांचे पालन केले नाही16 वेळ संपला12 अतिरिक्त फॉरमॅटिंग7 API त्रुटी6

श्रेणी

कोडिंग18 डेटा पार्सिंग आणि निष्कर्षण5 डोमेन-विशिष्ट4 सूचनांचे पालन3 अँटी-एआय युक्त्या2 कोडी सोडवणे2 टूल कॉलिंग2 संयुक्त2

क्रमांक	मॉडेल	कंपनी	उत्तर नाही संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#133	MiniMax M2.7 medium	Minimax	1	6.7	1/2	54.7s
#148	GLM 4.7 Flash medium	Z.ai	1	3.4	0/2	55.3s
#151	Qwen3.5-9B medium	Qwen	1	2.8	0/2	135.6s

उत्तर नाही संख्या नुसार शीर्ष मॉडेल्स