AI BENCHY
Advertise here

AI BENCHY श्रेणी अपयशे

अँटी-एआय युक्त्या: चुकीचे उत्तर

अँटी-एआय युक्त्या
चुकीचे उत्तर

अँटी-एआय युक्त्या मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↑.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

245

सर्वाधिक प्रभावित मॉडेल

Mistral Small 4 4

अयशस्वी होण्याची कारणे

चुकीचे उत्तर245 सूचनांचे पालन केले नाही30 अतिरिक्त फॉरमॅटिंग14 API त्रुटी13 वेळ संपला4 उत्तर नाही2

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#142 Mistral Small 4 none Mistral 4 3.4 0/4 395ms
#160 LFM2-24B-A2B none Liquid 3 3.3 0/3 471ms
#155 Mercury 2 none Inception 4 3.0 0/4 483ms
#127 Grok 4.20 none X AI 3 4.8 1/4 501ms
#146 Laguna Xs.2 none Poolside 2 3.0 0/4 534ms
#97 Gemini 2.5 Flash none Google 4 3.0 0/4 582ms
#162 Nemotron 3 Nano Omni 30b A3b Reasoning none NVIDIA 2 4.8 1/4 584ms
#106 Grok 4.20 Beta none X AI 4 4.0 0/4 597ms
#145 Laguna M.1 none Poolside 3 3.4 0/4 705ms
#115 Qwen3.5-27B none Qwen 3 4.8 1/4 788ms
#163 Granite 4.1 8B none IBM Granite 2 4.9 1/4 844ms
#32 Gemini 3.5 Flash minimal Google 2 6.5 2/4 892ms
#144 GPT-5.4 Mini none OpenAI 4 3.1 0/4 929ms
#137 Elephant Alpha none Openrouter 1 6.6 2/4 963ms
#58 Gemini 3.1 Flash Lite Preview none Google 1 7.5 2/4 1.04s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स