Ranking de Programação x Resposta incorreta

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

120

Modelo mais afetado

Motivos de falha

Resposta incorreta120 Sem resposta18 Não seguiu as instruções16 Tempo esgotado12 Formatação extra7 Erro de API6

Categorias

Específico do domínio298 Truques anti-IA235 Resolução de quebra-cabeças148 Conhecimentos gerais127 Programação120 Seguimento de instruções52 Combinado51 Análise e extração de dados32 Inteligência geral27 Chamada de ferramentas2

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#137	Qwen3.6 35B A3B none	Qwen	1	6.8	1/2	12.3s
#139	MiMo-V2.5 none	Xiaomi	1	6.8	1/2	3.74s
#140	Trinity Large Preview none	Arcee AI	1	4.9	0/1	14.3s
#141	Qwen3 Coder Next medium	Qwen	1	4.1	0/2	1.17s
#144	Hy3 preview none	Tencent	1	2.3	0/1	4.56s
#146	Ling-2.6-1T none	Inclusionai	1	5.5	0/1	10.6s
#149	MiMo-V2-Flash none	Xiaomi	1	4.9	0/2	2.04s
#150	Grok 4.1 Fast none	X AI	1	5.3	0/1	1.79s
#153	Granite 4.1 8B none	IBM Granite	1	5.2	0/2	706ms

←

1 2 3 4 5 6 7

Melhores modelos por Contagem de Resposta incorreta