Ranking de Programação x Não seguiu as instruções

Veja quais modelos de IA têm mais chance de encontrar Não seguiu as instruções em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta456 Erro de API64 Não seguiu as instruções41 Sem resposta41 Formatação extra36 Tempo esgotado24

Categorias

Resolução de quebra-cabeças147 Inteligência geral134 Seguimento de instruções65 Truques anti-IA49 Programação41 Chamada de ferramentas12 Tarefas de agentes10 Análise e extração de dados8 Específico do domínio3 Combinado1

38/38

Posição	Modelo	Empresa	Contagem de Não seguiu as instruções	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#365	Qwen3.5-9B medium	Qwen	1	0.3	$0.106	0/3	100.9s
Total de testes 3 Testes errados 3 Custo total $0.106 Tempo de resposta (médio) 100.9s
#368	Grok 4.1 Fast medium	X AI	1	0.8	$0.069	0/1	23.6s
Total de testes 1 Testes errados 1 Custo total $0.069 Tempo de resposta (médio) 23.6s
#369	Laguna M.1 medium	Poolside	1	0.1	$0.033	0/1	35.6s
Total de testes 1 Testes errados 1 Custo total $0.033 Tempo de resposta (médio) 35.6s
#371	Granite 4.1 8b default	IBM Granite	1	0.4	$0.007	0/3	775ms
Total de testes 3 Testes errados 3 Custo total $0.007 Tempo de resposta (médio) 775ms
#373	Ling 3.0 Tiny high	Inclusionai	1	0.3	$0.000	0/3	177.7s
Total de testes 3 Testes errados 3 Custo total $0.000 Tempo de resposta (médio) 177.7s
#374	Ling 3.0 Tiny low	Inclusionai	1	0.3	$0.000	0/3	170.7s
Total de testes 3 Testes errados 3 Custo total $0.000 Tempo de resposta (médio) 170.7s
#375	Ling 3.0 Tiny medium	Inclusionai	1	0.3	$0.000	0/3	212.0s
Total de testes 3 Testes errados 3 Custo total $0.000 Tempo de resposta (médio) 212.0s
#385	MiMo-V2-Flash default	Xiaomi	1	0.4	$0.025	0/3	2.64s
Total de testes 3 Testes errados 3 Custo total $0.025 Tempo de resposta (médio) 2.64s

Filtrar modelos