AI BENCHY
Your ad here

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट: चुकीचे उत्तर

डोमेन-विशिष्ट
चुकीचे उत्तर

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: बरोबर चाचण्या ↑.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

182

सर्वाधिक प्रभावित मॉडेल

Qwen3.6 Plus Preview 3

अयशस्वी होण्याची कारणे

चुकीचे उत्तर182 वेळ संपला31 अतिरिक्त फॉरमॅटिंग8 API त्रुटी2 उत्तर नाही2

श्रेणी

डोमेन-विशिष्ट182 अँटी-एआय युक्त्या165 कोडी सोडवणे85 सूचनांचे पालन44 संयुक्त37 कोडिंग28 डेटा पार्सिंग आणि निष्कर्षण19 Samanya Buddhimatta10 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#9 Qwen3.6 Plus Preview medium Qwen 3 3.0 0/3 22.1s
#13 GLM 5 medium Z.ai 2 3.5 0/3 0ms
#17 Gemini 3.1 Flash Lite Preview medium Google 3 3.0 0/3 4.21s
#18 GLM 5 Turbo medium Z.ai 2 2.9 0/3 71.1s
#19 Qwen3.5-122B-A10B medium Qwen 3 2.9 0/3 63.4s
#20 Qwen3.6 Plus medium Qwen 3 2.9 0/3 29.6s
#24 Gemma 4 26B A4B medium Google 2 2.9 0/3 23.6s
#26 Claude Sonnet 4.6 medium Anthropic 1 2.9 0/3 0ms
#35 MiMo-V2-Omni medium Xiaomi 1 3.0 0/3 55.1s
#36 GPT-5.3 Chat none OpenAI 3 3.5 0/3 13.0s
#37 Claude Opus 4.6 medium Anthropic 1 3.0 0/3 83.4s
#43 Qwen3.5-35B-A3B medium Qwen 1 4.1 0/3 88.3s
#44 GPT-5.4 Mini medium OpenAI 3 4.1 0/3 65.3s
#45 GPT-5 Mini medium OpenAI 2 3.6 0/3 44.6s
#46 Kimi K2.5 medium Moonshot AI 2 3.5 0/3 137.3s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स