Échecs par catégorie AI BENCHY
Programmation : N'a pas suivi les instructions
Programmation
N'a pas suivi les instructions
Voyez quels modèles d'IA ont le plus de chances de rencontrer N'a pas suivi les instructions sur Programmation, pour repérer plus vite les points faibles. Trier par: Coût total ↑.
Raisons d'échec
16/16
Filtrer les modèles
Aucun modèle ne correspond à la recherche et aux filtres actuels.
| Rang | Modèle | Entreprise | Nombre de N'a pas suivi les instructions | Score de catégorie | Coût total | Tests corrects | Temps de réponse (moy.) |
|---|---|---|---|---|---|---|---|
| #160 | Cobuddy medium | Baidu | 1 | 3.7 | $0.000 | 0/3 | 79.2s |
| #183 | Granite 4.1 8B none | IBM Granite | 1 | 4.5 | $0.003 | 0/3 | 775ms |
| #146 | DeepSeek V3.2 none | DeepSeek | 1 | 3.1 | $0.016 | 0/3 | 14.5s |
| #137 | MiMo-V2.5-Pro none | Xiaomi | 1 | 4.3 | $0.017 | 0/3 | 1.41s |
| #179 | MiMo-V2-Flash none | Xiaomi | 1 | 4.3 | $0.025 | 0/3 | 2.64s |
| #140 | Qwen3.5 Plus 2026-04-20 none | Qwen | 1 | 3.9 | $0.032 | 0/3 | 1.69s |
| #158 | Laguna M.1 medium | Poolside | 1 | 1.5 | $0.033 | 0/1 | 35.6s |
| #71 | DeepSeek V4 Pro none | DeepSeek | 1 | 5.6 | $0.034 | 1/3 | 13.4s |
| #185 | Qwen3.5-9B medium | Qwen | 1 | 2.9 | $0.036 | 0/3 | 100.9s |
| #74 | GLM 5.2 none | Z.ai | 1 | 3.7 | $0.042 | 0/3 | 7.55s |
| #133 | Grok 4.1 Fast medium | X AI | 1 | 7.8 | $0.069 | 0/1 | 23.6s |
| #128 | Kimi K2.6 none | Moonshot AI | 1 | 5.5 | $0.078 | 1/3 | 82.6s |
| #85 | Gemini 3.5 Flash minimal | 1 | 5.6 | $0.108 | 1/3 | 2.75s | |
| #70 | Claude Opus 4.8 none | Anthropic | 1 | 5.5 | $0.539 | 1/3 | 3.29s |
| #11 | Gemini 3.5 Flash medium | 1 | 7.9 | $0.582 | 2/3 | 12.6s |