टूल कॉलिंग x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

टूल कॉलिंग मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

API त्रुटी6 सूचनांचे पालन केले नाही6 अवैध टूल कॉल3 उत्तर नाही2 चुकीचे उत्तर2

श्रेणी

डोमेन-विशिष्ट182 अँटी-एआय युक्त्या165 कोडी सोडवणे85 सूचनांचे पालन44 संयुक्त37 कोडिंग28 डेटा पार्सिंग आणि निष्कर्षण19 Samanya Buddhimatta10 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#74	GLM 4.7 Flash none	Z.ai	1	2.8	0/1	7.05s
#95	Grok 4.1 Fast none	X AI	1	2.8	0/1	5.51s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स