डोमेन-विशिष्ट x API त्रुटी क्रमवारी

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना API त्रुटी येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर314 वेळ संपला34 अतिरिक्त फॉरमॅटिंग12 API त्रुटी6 उत्तर नाही5 सूचनांचे पालन केले नाही1

श्रेणी

कोडिंग43 डेटा पार्सिंग आणि निष्कर्षण16 टूल कॉलिंग15 अँटी-एआय युक्त्या13 कोडी सोडवणे13 संयुक्त13 Samanya Buddhimatta12 सामान्य ज्ञान12 डोमेन-विशिष्ट6 सूचनांचे पालन1

क्रमांक	मॉडेल	कंपनी	API त्रुटी संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#93	Qwen3.6 Plus Preview medium	Qwen	1	3.0	0/3	22.1s
#103	DeepSeek V4 Pro high	DeepSeek	1	2.9	0/3	205.7s
#132	Mistral Small 4 medium	Mistral	1	5.3	1/3	6.11s
#133	DeepSeek V3.2 none	DeepSeek	1	2.9	0/3	4.17s
#156	Hy3 preview none	Tencent	1	3.6	0/3	17.6s
#160	LFM2-24B-A2B none	Liquid	1	5.9	1/3	287ms

API त्रुटी संख्या नुसार शीर्ष मॉडेल्स