Ranking de Programação x Não seguiu as instruções

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Não seguiu as instruções em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta120 Sem resposta18 Não seguiu as instruções16 Tempo esgotado12 Formatação extra7 Erro de API6

Categorias

Resolução de quebra-cabeças84 Inteligência geral74 Truques anti-IA29 Programação16 Seguimento de instruções14 Chamada de ferramentas6 Combinado1 Específico do domínio1

Posição	Modelo	Empresa	Contagem de Não seguiu as instruções	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#153	Granite 4.1 8B none	IBM Granite	1	5.2	0/2	706ms

Melhores modelos por Contagem de Não seguiu as instruções