Samanya Buddhimatta x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

Samanya Buddhimatta मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

सूचनांचे पालन केले नाही74 चुकीचे उत्तर32 API त्रुटी12 वेळ संपला4

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#158	GLM 4.7 Flash medium	Z.ai	1	3.6	0/1	18.1s
#163	Granite 4.1 8B none	IBM Granite	1	4.0	0/1	499ms

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स