Ranking de Programação x Resposta incorreta

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

120

Modelo mais afetado

Motivos de falha

Resposta incorreta120 Sem resposta18 Não seguiu as instruções16 Tempo esgotado12 Formatação extra7 Erro de API6

Categorias

Específico do domínio298 Truques anti-IA235 Resolução de quebra-cabeças148 Conhecimentos gerais127 Programação120 Seguimento de instruções52 Combinado51 Análise e extração de dados32 Inteligência geral27 Chamada de ferramentas2

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#25	Qwen3.5-27B medium	Qwen	1	7.0	1/2	123.9s
#26	Qwen3.7 Max none	Qwen	1	6.8	1/2	1.39s
#27	GPT-5.4 medium	OpenAI	1	8.2	1/2	55.0s
#33	Qwen3.6 Plus medium	Qwen	1	4.1	0/2	201.7s
#34	Gemini 3.1 Flash Lite Preview medium	Google	1	6.8	1/2	3.98s
#35	Gemini 3.1 Flash Lite medium	Google	1	6.8	1/2	3.59s
#36	Gemini 2.5 Flash medium	Google	1	6.6	1/2	54.6s
#38	Qwen3.5-122B-A10B medium	Qwen	1	4.1	0/2	119.6s
#39	Gemini 3 Flash Preview none	Google	1	6.8	1/2	2.19s
#41	Gemini 3.1 Flash Lite Preview low	Google	1	6.8	1/2	1.56s
#42	Qwen3.5 Plus 2026-04-20 medium	Qwen	1	5.4	1/2	137.5s
#43	GPT-5.2 Chat none	OpenAI	1	8.2	1/2	8.05s
#44	MiMo-V2-Pro medium	Xiaomi	1	7.5	1/2	94.2s
#45	Grok Build 0.1 medium	X AI	1	5.3	0/2	67.4s
#49	Gemini 3.1 Flash Lite Preview none	Google	1	6.8	1/2	1.06s

←

1 2 3 4 5 6 7

→

Melhores modelos por Contagem de Resposta incorreta