AI BENCHY
Advertise here

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट: API त्रुटी

डोमेन-विशिष्ट
API त्रुटी

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना API त्रुटी येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↑.

दाखवलेली मॉडेल्स

6

एकूण अपयशे

6

सर्वाधिक प्रभावित मॉडेल

LFM2-24B-A2B 1

अयशस्वी होण्याची कारणे

चुकीचे उत्तर314 वेळ संपला34 अतिरिक्त फॉरमॅटिंग12 API त्रुटी6 उत्तर नाही5 सूचनांचे पालन केले नाही1

श्रेणी

कोडिंग43 डेटा पार्सिंग आणि निष्कर्षण16 टूल कॉलिंग15 अँटी-एआय युक्त्या13 कोडी सोडवणे13 संयुक्त13 Samanya Buddhimatta12 सामान्य ज्ञान12 डोमेन-विशिष्ट6 सूचनांचे पालन1
क्रमांक मॉडेल कंपनी API त्रुटी संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#160 LFM2-24B-A2B none Liquid 1 5.9 1/3 287ms
#133 DeepSeek V3.2 none DeepSeek 1 2.9 0/3 4.17s
#132 Mistral Small 4 medium Mistral 1 5.3 1/3 6.11s
#156 Hy3 preview none Tencent 1 3.6 0/3 17.6s
#93 Qwen3.6 Plus Preview medium Qwen 1 3.0 0/3 22.1s
#103 DeepSeek V4 Pro high DeepSeek 1 2.9 0/3 205.7s

API त्रुटी संख्या नुसार शीर्ष मॉडेल्स

API त्रुटी संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स