डेटा पार्सिंग आणि निष्कर्षण x अतिरिक्त फॉरमॅटिंग क्रमवारी

AI BENCHY श्रेणी अपयशे

डेटा पार्सिंग आणि निष्कर्षण मध्ये कोणत्या AI मॉडेल्सना अतिरिक्त फॉरमॅटिंग येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर35 API त्रुटी16 उत्तर नाही5 अतिरिक्त फॉरमॅटिंग4 वेळ संपला1

श्रेणी

अँटी-एआय युक्त्या14 डोमेन-विशिष्ट12 कोडिंग11 कोडी सोडवणे5 डेटा पार्सिंग आणि निष्कर्षण4 सूचनांचे पालन2

क्रमांक	मॉडेल	कंपनी	अतिरिक्त फॉरमॅटिंग संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#56	MiMo-V2.5 medium	Xiaomi	1	2.7	0/2	6.33s
#143	MiMo-V2.5 none	Xiaomi	1	6.5	1/2	1.01s
#152	MiMo-V2-Flash none	Xiaomi	1	2.9	0/2	19.7s
#161	Qwen3.5-9B medium	Qwen	1	3.6	0/2	87.3s

अतिरिक्त फॉरमॅटिंग संख्या नुसार शीर्ष मॉडेल्स