AI BENCHY
Your ad here

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट: चुकीचे उत्तर

डोमेन-विशिष्ट
चुकीचे उत्तर

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: बरोबर चाचण्या ↓.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

182

सर्वाधिक प्रभावित मॉडेल

Gemini 3.1 Pro Preview 1

अयशस्वी होण्याची कारणे

चुकीचे उत्तर182 वेळ संपला31 अतिरिक्त फॉरमॅटिंग8 API त्रुटी2 उत्तर नाही2

श्रेणी

डोमेन-विशिष्ट182 अँटी-एआय युक्त्या165 कोडी सोडवणे85 सूचनांचे पालन44 संयुक्त37 कोडिंग28 डेटा पार्सिंग आणि निष्कर्षण19 Samanya Buddhimatta10 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#2 Gemini 3.1 Pro Preview medium Google 1 7.7 2/3 32.7s
#4 Claude Opus 4.7 none Anthropic 1 7.7 2/3 1.19s
#14 Gemma 4 31B medium Google 1 7.7 2/3 38.5s
#21 Gemini 3 Flash Preview none Google 1 7.7 2/3 963ms
#42 Claude Sonnet 4.6 none Anthropic 1 7.7 2/3 3.54s
#48 Gemma 4 31B none Google 1 7.7 2/3 3.22s
#59 Qwen3.5-Flash none Qwen 1 7.7 2/3 905ms
#63 Qwen3.5-35B-A3B none Qwen 1 7.7 2/3 485ms
#74 GLM 4.7 Flash none Z.ai 1 7.7 2/3 744ms
#5 Gemini 3 Flash Preview low Google 2 5.3 1/3 8.05s
#6 Seed-2.0-Lite medium Bytedance Seed 2 5.9 1/3 88.7s
#7 GPT-5.3-Codex medium OpenAI 2 5.9 1/3 64.3s
#8 Qwen3.5 Plus 2026-02-15 medium Qwen 1 5.3 1/3 17.5s
#10 Qwen3.5-27B medium Qwen 1 5.3 1/3 79.5s
#11 Gemini 3.1 Flash Lite Preview high Google 2 5.3 1/3 127.6s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स