Falhas por categoria AI BENCHY
Resolução de quebra-cabeças: Não seguiu as instruções
Resolução de quebra-cabeças
Não seguiu as instruções
Veja quais modelos de IA têm mais chance de encontrar Não seguiu as instruções em Resolução de quebra-cabeças, para identificar pontos fracos mais rápido. Ordenar por: Tempo de resposta (médio) ↑.
Motivos de falha
| Posição | Modelo | Empresa | Contagem de Não seguiu as instruções | Pontuação da categoria | Testes corretos | Tempo de resposta (médio) |
|---|---|---|---|---|---|---|
| #142 | Mistral Small 4 none | Mistral | 1 | 3.1 | 0/3 | 399ms |
| #162 | Nemotron 3 Nano Omni 30b A3b Reasoning none | NVIDIA | 1 | 3.0 | 0/3 | 532ms |
| #163 | Granite 4.1 8B none | IBM Granite | 1 | 3.2 | 0/3 | 608ms |
| #154 | Qwen3.5-9B none | Qwen | 1 | 3.2 | 0/3 | 621ms |
| #90 | Gemini 3.1 Flash Lite none | 1 | 6.3 | 1/3 | 720ms | |
| #102 | Gemma 4 26B A4B none | 1 | 6.2 | 1/3 | 744ms | |
| #137 | Elephant Alpha none | Openrouter | 1 | 4.2 | 0/3 | 807ms |
| #144 | GPT-5.4 Mini none | OpenAI | 1 | 5.4 | 1/3 | 836ms |
| #136 | Elephant Alpha medium | Openrouter | 1 | 5.3 | 1/3 | 868ms |
| #81 | Mercury 2 medium | Inception | 1 | 5.4 | 1/3 | 949ms |
| #131 | Qwen3.5-122B-A10B none | Qwen | 1 | 3.8 | 0/3 | 1.00s |
| #104 | Nemotron 3 Ultra 550b A55b none | NVIDIA | 1 | 5.9 | 1/3 | 1.06s |
| #153 | Qwen3.6 35B A3B none | Qwen | 2 | 3.2 | 0/3 | 1.07s |
| #122 | GLM 4.7 Flash none | Z.ai | 1 | 6.4 | 1/3 | 1.20s |
| #147 | GPT-4o-mini none | OpenAI | 1 | 3.5 | 0/3 | 1.21s |