Ranking de Programação x Resposta incorreta

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

120

Modelo mais afetado

Motivos de falha

Resposta incorreta120 Sem resposta18 Não seguiu as instruções16 Tempo esgotado12 Formatação extra7 Erro de API6

Categorias

Específico do domínio298 Truques anti-IA235 Resolução de quebra-cabeças148 Conhecimentos gerais127 Programação120 Seguimento de instruções52 Combinado51 Análise e extração de dados32 Inteligência geral27 Chamada de ferramentas2

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#59	Qwen3.6 Flash medium	Qwen	2	5.1	0/2	51.9s
#66	Qwen3.6 Max Preview none	Qwen	2	4.2	0/2	3.06s
#77	Grok 4.20 medium	X AI	2	4.1	0/2	65.1s
#88	Qwen3.5 Plus 2026-02-15 none	Qwen	2	4.9	0/2	2.54s
#89	GLM 5 none	Z.ai	2	4.6	0/2	5.18s
#94	GPT-5 Nano medium	OpenAI	2	5.4	0/2	47.8s
#95	DeepSeek V4 Pro none	DeepSeek	2	5.4	0/2	8.27s
#109	GLM 4.7 Flash none	Z.ai	2	5.0	0/2	3.35s
#111	gpt-oss-120b medium	OpenAI	2	3.9	0/2	47.2s
#113	GLM 5.1 none	Z.ai	2	4.3	0/2	6.33s
#121	Mistral Small 4 medium	Mistral	2	5.1	0/2	44.8s
#124	Qwen3.5-122B-A10B none	Qwen	2	4.0	0/2	2.14s
#125	GLM 5 Turbo none	Z.ai	2	4.4	0/2	2.58s
#131	DeepSeek V4 Flash none	DeepSeek	2	4.8	0/2	24.5s
#132	Qwen3 Coder Next none	Qwen	2	5.4	0/2	2.01s

1 2 3 4 5 6 7

→

Melhores modelos por Contagem de Resposta incorreta