AI BENCHY श्रेणी अपयशे

टूल कॉलिंग

चुकीचे उत्तर

टूल कॉलिंग मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: अपयशांची संख्या ↑.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

GLM 4.7 Flash 1

संबंधित अपयश कारणे

उत्तर नाही2 चुकीचे उत्तर2 API त्रुटी1

संबंधित श्रेण्या

डोमेन-विशिष्ट98 कोडी सोडवणे55 अँटी-एआय युक्त्या53 सूचनांचे पालन26 संयुक्त21 डेटा पार्सिंग आणि निष्कर्षण14 Samanya Buddhimatta6 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#49	GLM 4.7 Flash none	Z.ai	1	10.0	0/1	7.05s
#53	Grok 4.1 Fast none	X AI	1	10.0	0/1	5.51s

टूल कॉलिंग

चुकीचे उत्तर

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या विरुद्ध सरासरी स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स