AI BENCHY
Advertise here

AI BENCHY श्रेणी अपयशे

सूचनांचे पालन: चुकीचे उत्तर

सूचनांचे पालन
चुकीचे उत्तर

सूचनांचे पालन मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: अपयशांची संख्या ↑.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

53

सर्वाधिक प्रभावित मॉडेल

Gemini 3.5 Flash 1

अयशस्वी होण्याची कारणे

चुकीचे उत्तर53 सूचनांचे पालन केले नाही11 अतिरिक्त फॉरमॅटिंग2 उत्तर नाही2 API त्रुटी1

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#32 Gemini 3.5 Flash minimal Google 1 6.4 1/2 893ms
#48 Gemini 3 Flash Preview none Google 1 6.4 1/2 1.58s
#55 GLM 5.1 medium Z.ai 1 6.4 1/2 7.47s
#77 Claude Sonnet 4.6 none Anthropic 1 6.5 1/2 1.96s
#85 Gemma 4 31B none Google 1 6.5 1/2 2.84s
#88 Qwen3.7 Plus none Qwen 1 6.3 1/2 929ms
#91 GPT-5.5 none OpenAI 1 6.2 1/2 1.15s
#101 Mimo V2 Omni none Xiaomi 1 6.5 1/2 4.26s
#102 Gemma 4 26B A4B none Google 1 6.3 1/2 690ms
#106 Grok 4.20 Beta none X AI 1 6.3 1/2 649ms
#108 Qwen3.5-Flash none Qwen 1 6.3 1/2 8.81s
#109 GLM 5V Turbo none Z.ai 1 6.5 1/2 1.97s
#111 Owl Alpha medium Openrouter 1 6.5 1/2 10.2s
#113 DeepSeek V4 Pro none DeepSeek 1 6.3 1/2 8.23s
#114 Qwen3.5 Plus 2026-04-20 none Qwen 1 6.2 1/2 1.17s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स