Ranking de Programação x Resposta incorreta

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

120

Modelo mais afetado

Motivos de falha

Resposta incorreta120 Sem resposta18 Não seguiu as instruções16 Tempo esgotado12 Formatação extra7 Erro de API6

Categorias

Específico do domínio298 Truques anti-IA235 Resolução de quebra-cabeças148 Conhecimentos gerais127 Programação120 Seguimento de instruções52 Combinado51 Análise e extração de dados32 Inteligência geral27 Chamada de ferramentas2

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#85	Gemini 3.1 Flash Lite none	Google	1	6.8	1/2	1.13s
#86	GPT-5.5 none	OpenAI	1	6.8	1/2	1.52s
#90	Mercury 2 medium	Inception	1	7.2	1/2	2.29s
#91	Gemma 4 26B A4B none	Google	1	4.1	0/2	3.83s
#92	Gemini 2.5 Flash none	Google	1	6.8	1/2	810ms
#93	MiMo-V2-Omni none	Xiaomi	1	5.1	0/2	2.75s
#97	Qwen3.5-Flash none	Qwen	1	6.8	1/2	993ms
#98	GLM 5V Turbo none	Z.ai	1	6.8	1/2	3.77s
#99	Seed-2.0-Lite none	Bytedance Seed	1	6.8	1/2	2.95s
#101	Qwen3.5 Plus 2026-04-20 none	Qwen	1	4.4	0/2	2.08s
#102	Qwen3.5-35B-A3B none	Qwen	1	6.8	1/2	1.72s
#103	Qwen3.5-27B none	Qwen	1	7.3	1/2	1.98s
#104	Qwen3.6 27B none	Qwen	1	6.8	1/2	5.75s
#105	Cobuddy medium	Baidu	1	4.1	0/2	79.2s
#107	MiMo-V2-Pro none	Xiaomi	1	6.8	1/2	2.65s

←

1 2 3 4 5 6 7

→

Melhores modelos por Contagem de Resposta incorreta