Ranking de Inteligência geral x Não seguiu as instruções

Veja quais modelos de IA têm mais chance de encontrar Não seguiu as instruções em Inteligência geral, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

142

Modelo mais afetado

Claude Sonnet 5.5 1

Motivos de falha

Não seguiu as instruções142 Resposta incorreta134 Erro de API17 Tempo esgotado4

Categorias

Resolução de quebra-cabeças166 Inteligência geral142 Seguimento de instruções77 Truques anti-IA52 Programação50 Chamada de ferramentas13 Tarefas de agentes10 Análise e extração de dados8 Específico do domínio3 Combinado1

142/142

Posição	Modelo	Empresa	Contagem de Não seguiu as instruções	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#143	Qwen3.8 Flash Next medium	Qwen	1	0.5	~$0.047	0/1	7.29s
Total de testes 1 Testes errados 1 Custo total ~$0.047 Tempo de resposta (médio) 7.29s
#145	Qwen3.8 27B low	Qwen	1	0.5	~$0.089	0/1	5.37s
Total de testes 1 Testes errados 1 Custo total ~$0.089 Tempo de resposta (médio) 5.37s
#148	Seed-2.0-Mini medium	Bytedance Seed	1	0.5	$0.140	0/1	36.7s
Total de testes 1 Testes errados 1 Custo total $0.140 Tempo de resposta (médio) 36.7s
#154	Seed-2.0-Code medium	Bytedance Seed	1	0.5	$1.275	0/1	11.4s
Total de testes 1 Testes errados 1 Custo total $1.275 Tempo de resposta (médio) 11.4s
#155	GLM 5.3 FlashX high	Z.ai	1	0.6	$0.210	0/1	2.28s
Total de testes 1 Testes errados 1 Custo total $0.210 Tempo de resposta (médio) 2.28s
#161	GLM 5.3 Flash high	Z.ai	1	0.5	$0.056	0/1	3.33s
Total de testes 1 Testes errados 1 Custo total $0.056 Tempo de resposta (médio) 3.33s
#164	Gemini 2.5 Flash medium	Google	1	0.5	$0.680	0/1	4.86s
Total de testes 1 Testes errados 1 Custo total $0.680 Tempo de resposta (médio) 4.86s
#166	Qwen3.6 Plus medium	Qwen	1	0.5	$0.554	0/1	27.1s
Total de testes 1 Testes errados 1 Custo total $0.554 Tempo de resposta (médio) 27.1s
#167	Gemini 3.5 Flash Lite medium	Google	1	0.5	$0.440	0/1	2.97s
Total de testes 1 Testes errados 1 Custo total $0.440 Tempo de resposta (médio) 2.97s
#168	Qwen3.5-27B none	Qwen	1	0.5	$0.116	0/1	2.51s
Total de testes 1 Testes errados 1 Custo total $0.116 Tempo de resposta (médio) 2.51s
#170	Qwen3.8 27B medium	Qwen	1	0.5	~$0.073	0/1	9.20s
Total de testes 1 Testes errados 1 Custo total ~$0.073 Tempo de resposta (médio) 9.20s
#175	GLM 5 medium	Z.ai	1	0.6	$0.479	0/1	14.7s
Total de testes 1 Testes errados 1 Custo total $0.479 Tempo de resposta (médio) 14.7s
#177	Qwen3.6 27B medium	Qwen	1	0.6	$1.021	0/1	39.5s
Total de testes 1 Testes errados 1 Custo total $1.021 Tempo de resposta (médio) 39.5s
#179	Qwen3.8 Flash Next xhigh	Qwen	1	0.5	~$0.195	0/1	3.95s
Total de testes 1 Testes errados 1 Custo total ~$0.195 Tempo de resposta (médio) 3.95s
#180	GLM 5.3 FlashX medium	Z.ai	1	0.3	$0.114	0/1	1.79s
Total de testes 1 Testes errados 1 Custo total $0.114 Tempo de resposta (médio) 1.79s

Filtrar modelos

Melhores modelos por Contagem de Não seguiu as instruções

Contagem de Não seguiu as instruções vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado

Inteligência geral: Não seguiu as instruções

Filtrar modelos

Melhores modelos por Contagem de Não seguiu as instruções

Contagem de Não seguiu as instruções vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimadoA estimativa inclui apenas a eletricidade da GPU. Exclui o resto do computador e a aquisição do hardware. NVIDIA GeForce RTX 3090: 0.4752 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.046984.

Melhores modelos por Custo desperdiçado estimado