Ranking de Programação x Não seguiu as instruções

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Não seguiu as instruções em Programação, para identificar pontos fracos mais rápido. Ordenar por: Tempo de resposta (médio) ↑.

Modelos exibidos

Falhas totais

Modelo mais afetado

Grok 4.1 Fast 1

Motivos de falha

Resposta incorreta26 Tempo esgotado12 Erro de API6 Não seguiu as instruções2

Categorias

Resolução de quebra-cabeças68 Inteligência geral55 Seguimento de instruções22 Truques anti-IA15 Chamada de ferramentas6 Programação2

Posição	Modelo	Empresa	Contagem de Não seguiu as instruções	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#49	Grok 4.1 Fast medium	X AI	1	2.3	0/1	23.6s
#91	Qwen3.5-9B medium	Qwen	1	2.6	0/1	135.6s

Melhores modelos por Contagem de Não seguiu as instruções

Contagem de Não seguiu as instruções vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado

Programação: Não seguiu as instruções

Melhores modelos por Contagem de Não seguiu as instruções

Contagem de Não seguiu as instruções vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado