Ranking de Programação x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

337

Modelo mais afetado

Motivos de falha

Resposta incorreta337 Erro de API51 Sem resposta39 Tempo esgotado27 Formatação extra25 Não seguiu as instruções25

Categorias

Específico do domínio608 Truques anti-IA373 Programação337 Resolução de quebra-cabeças267 Conhecimentos gerais229 Combinado88 Inteligência geral86 Seguimento de instruções78 Análise e extração de dados59 Chamada de ferramentas5

197/197

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#285	gpt-oss-120b none	OpenAI	1	1.5	$0.010	0/1	9.57s
Total de testes 1 Testes errados 1 Custo total $0.010 Tempo de resposta (médio) 9.57s
#286	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	1.1	$0.000	0/1	38.1s
Total de testes 1 Testes errados 1 Custo total $0.000 Tempo de resposta (médio) 38.1s

←

1 13 14

Filtrar modelos