Fallos por categoría de AI BENCHY
Programación: No siguió las instrucciones
Programación
No siguió las instrucciones
Mira qué modelos de IA tienen más probabilidades de caer en No siguió las instrucciones dentro de Programación, para detectar puntos débiles más rápido. Ordenar por: Costo total ↑.
Motivos de fallo
16/16
Filtrar modelos
Ningún modelo coincide con la búsqueda y los filtros actuales.
| Rango | Modelo | Empresa | Cantidad de No siguió las instrucciones | Puntuación de categoría | Costo total | Pruebas correctas | Tiempo de respuesta (promedio) |
|---|---|---|---|---|---|---|---|
| #159 | Cobuddy medium | Baidu | 1 | 3.7 | $0.000 | 0/3 | 79.2s |
| #182 | Granite 4.1 8B none | IBM Granite | 1 | 4.5 | $0.003 | 0/3 | 775ms |
| #136 | MiMo-V2.5-Pro none | Xiaomi | 1 | 4.3 | $0.017 | 0/3 | 1.41s |
| #145 | DeepSeek V3.2 none | DeepSeek | 1 | 3.1 | $0.017 | 0/3 | 14.5s |
| #178 | MiMo-V2-Flash none | Xiaomi | 1 | 4.3 | $0.025 | 0/3 | 2.64s |
| #73 | GLM 5.2 none | Z.ai | 1 | 3.7 | $0.030 | 0/3 | 7.55s |
| #139 | Qwen3.5 Plus 2026-04-20 none | Qwen | 1 | 3.9 | $0.032 | 0/3 | 1.69s |
| #157 | Laguna M.1 medium | Poolside | 1 | 1.5 | $0.033 | 0/1 | 35.6s |
| #70 | DeepSeek V4 Pro none | DeepSeek | 1 | 5.6 | $0.034 | 1/3 | 13.4s |
| #184 | Qwen3.5-9B medium | Qwen | 1 | 2.9 | $0.036 | 0/3 | 100.9s |
| #132 | Grok 4.1 Fast medium | X AI | 1 | 7.8 | $0.069 | 0/1 | 23.6s |
| #127 | Kimi K2.6 none | Moonshot AI | 1 | 5.5 | $0.078 | 1/3 | 82.6s |
| #84 | Gemini 3.5 Flash minimal | 1 | 5.6 | $0.108 | 1/3 | 2.75s | |
| #69 | Claude Opus 4.8 none | Anthropic | 1 | 5.5 | $0.539 | 1/3 | 3.29s |
| #11 | Gemini 3.5 Flash medium | 1 | 7.9 | $0.582 | 2/3 | 12.6s |