AI BENCHY श्रेणी अपयशे
कोडिंग: सूचनांचे पालन केले नाही
कोडिंग
सूचनांचे पालन केले नाही
कोडिंग मध्ये कोणत्या AI मॉडेल्सना सूचनांचे पालन केले नाही येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↑.
अयशस्वी होण्याची कारणे
16/16
मॉडेल फिल्टर करा
सध्याच्या शोध आणि फिल्टर्सशी जुळणारी कोणतीही मॉडेल्स नाहीत.
| क्रमांक | मॉडेल | कंपनी | सूचनांचे पालन केले नाही संख्या | श्रेणी स्कोअर | एकूण खर्च | बरोबर चाचण्या | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|
| #182 | Granite 4.1 8B none | IBM Granite | 1 | 4.5 | $0.003 | 0/3 | 775ms |
| #136 | MiMo-V2.5-Pro none | Xiaomi | 1 | 4.3 | $0.017 | 0/3 | 1.41s |
| #139 | Qwen3.5 Plus 2026-04-20 none | Qwen | 1 | 3.9 | $0.032 | 0/3 | 1.69s |
| #178 | MiMo-V2-Flash none | Xiaomi | 1 | 4.3 | $0.025 | 0/3 | 2.64s |
| #84 | Gemini 3.5 Flash minimal | 1 | 5.6 | $0.108 | 1/3 | 2.75s | |
| #69 | Claude Opus 4.8 none | Anthropic | 1 | 5.5 | $0.539 | 1/3 | 3.29s |
| #73 | GLM 5.2 none | Z.ai | 1 | 3.7 | $0.030 | 0/3 | 7.55s |
| #11 | Gemini 3.5 Flash medium | 1 | 7.9 | $0.582 | 2/3 | 12.6s | |
| #70 | DeepSeek V4 Pro none | DeepSeek | 1 | 5.6 | $0.034 | 1/3 | 13.4s |
| #145 | DeepSeek V3.2 none | DeepSeek | 1 | 3.1 | $0.017 | 0/3 | 14.5s |
| #132 | Grok 4.1 Fast medium | X AI | 1 | 7.8 | $0.069 | 0/1 | 23.6s |
| #48 | Claude Opus 4.6 medium | Anthropic | 1 | 5.7 | $2.053 | 1/3 | 30.1s |
| #157 | Laguna M.1 medium | Poolside | 1 | 1.5 | $0.033 | 0/1 | 35.6s |
| #159 | Cobuddy medium | Baidu | 1 | 3.7 | $0.000 | 0/3 | 79.2s |
| #127 | Kimi K2.6 none | Moonshot AI | 1 | 5.5 | $0.078 | 1/3 | 82.6s |