डेटा पार्सिंग आणि निष्कर्षण x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

डेटा पार्सिंग आणि निष्कर्षण मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर19 API त्रुटी6 अतिरिक्त फॉरमॅटिंग2 उत्तर नाही2 वेळ संपला1

श्रेणी

डोमेन-विशिष्ट182 अँटी-एआय युक्त्या165 कोडी सोडवणे85 सूचनांचे पालन44 संयुक्त37 कोडिंग28 डेटा पार्सिंग आणि निष्कर्षण19 Samanya Buddhimatta10 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#96	GPT-5.4 Nano none	OpenAI	1	6.5	1/2	1.11s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स