AI BENCHY
Advertise here

AI BENCHY श्रेणी अपयशे

कोडिंग: चुकीचे उत्तर

कोडिंग
चुकीचे उत्तर

कोडिंग मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

120

सर्वाधिक प्रभावित मॉडेल

Qwen3.6 Flash 2

अयशस्वी होण्याची कारणे

चुकीचे उत्तर120 उत्तर नाही18 सूचनांचे पालन केले नाही16 वेळ संपला12 अतिरिक्त फॉरमॅटिंग7 API त्रुटी6

श्रेणी

डोमेन-विशिष्ट298 अँटी-एआय युक्त्या235 कोडी सोडवणे148 सामान्य ज्ञान127 कोडिंग120 सूचनांचे पालन52 संयुक्त51 डेटा पार्सिंग आणि निष्कर्षण32 Samanya Buddhimatta27 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#59 Qwen3.6 Flash medium Qwen 2 5.1 0/2 51.9s
#66 Qwen3.6 Max Preview none Qwen 2 4.2 0/2 3.06s
#77 Grok 4.20 medium X AI 2 4.1 0/2 65.1s
#88 Qwen3.5 Plus 2026-02-15 none Qwen 2 4.9 0/2 2.54s
#89 GLM 5 none Z.ai 2 4.6 0/2 5.18s
#94 GPT-5 Nano medium OpenAI 2 5.4 0/2 47.8s
#95 DeepSeek V4 Pro none DeepSeek 2 5.4 0/2 8.27s
#109 GLM 4.7 Flash none Z.ai 2 5.0 0/2 3.35s
#111 gpt-oss-120b medium OpenAI 2 3.9 0/2 47.2s
#113 GLM 5.1 none Z.ai 2 4.3 0/2 6.33s
#121 Mistral Small 4 medium Mistral 2 5.1 0/2 44.8s
#124 Qwen3.5-122B-A10B none Qwen 2 4.0 0/2 2.14s
#125 GLM 5 Turbo none Z.ai 2 4.4 0/2 2.58s
#131 DeepSeek V4 Flash none DeepSeek 2 4.8 0/2 24.5s
#132 Qwen3 Coder Next none Qwen 2 5.4 0/2 2.01s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स