Ranking de Programação x Sem resposta

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Sem resposta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta230 Erro de API43 Tempo esgotado23 Sem resposta18 Não seguiu as instruções16 Formatação extra12

Categorias

Programação18 Conhecimentos gerais10 Específico do domínio6 Análise e extração de dados5 Truques anti-IA4 Combinado3 Chamada de ferramentas2 Resolução de quebra-cabeças2 Seguimento de instruções2

16/16

Posição	Modelo	Empresa	Contagem de Sem resposta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#184	Qwen3.5-9B medium	Qwen	1	2.9	$0.036	0/3	100.9s
Total de testes 3 Testes errados 3 Custo total $0.036 Tempo de resposta (médio) 100.9s

Filtrar modelos