Ranking de Programação x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

337

Modelo mais afetado

Qwen3.6 Flash 3

Motivos de falha

Resposta incorreta337 Erro de API51 Sem resposta39 Tempo esgotado27 Formatação extra25 Não seguiu as instruções25

Categorias

Específico do domínio608 Truques anti-IA373 Programação337 Resolução de quebra-cabeças267 Conhecimentos gerais229 Combinado88 Inteligência geral86 Seguimento de instruções78 Análise e extração de dados59 Chamada de ferramentas5

197/197

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#96	Grok 4.6 low	X AI	2	5.5	$0.449	1/3	21.7s
Total de testes 3 Testes errados 2 Custo total $0.449 Tempo de resposta (médio) 21.7s
#97	Gemini 3 Flash Preview low	Google	2	5.8	$0.185	1/3	6.00s
Total de testes 3 Testes errados 2 Custo total $0.185 Tempo de resposta (médio) 6.00s
#99	GLM 5.3 high	Z.ai	2	6.6	$0.403	1/3	18.9s
Total de testes 3 Testes errados 2 Custo total $0.403 Tempo de resposta (médio) 18.9s
#101	Gemini 3.1 Flash Lite medium	Google	2	5.5	$0.120	1/3	3.81s
Total de testes 3 Testes errados 2 Custo total $0.120 Tempo de resposta (médio) 3.81s
#102	Qwen3.7 Plus none	Qwen	2	5.5	$0.106	1/3	2.15s
Total de testes 3 Testes errados 2 Custo total $0.106 Tempo de resposta (médio) 2.15s
#106	KAT-Coder-Pro V2.5 high	Kwaipilot	2	6.4	$0.506	1/3	22.0s
Total de testes 3 Testes errados 2 Custo total $0.506 Tempo de resposta (médio) 22.0s
#108	Qwen3.5 Plus 2026-04-20 medium	Qwen	2	6.2	$0.323	1/3	125.3s
Total de testes 3 Testes errados 2 Custo total $0.323 Tempo de resposta (médio) 125.3s
#109	Qwen3.7 Flash low	Qwen	2	6.7	$0.043	1/3	42.4s
Total de testes 3 Testes errados 2 Custo total $0.043 Tempo de resposta (médio) 42.4s
#116	GPT-5.6 Sol none	OpenAI	2	5.5	$0.262	1/3	1.39s
Total de testes 3 Testes errados 2 Custo total $0.262 Tempo de resposta (médio) 1.39s
#119	GPT-5.5 none	OpenAI	2	5.5	$0.544	1/3	1.35s
Total de testes 3 Testes errados 2 Custo total $0.544 Tempo de resposta (médio) 1.35s
#121	Grok 4.20 medium	X AI	2	6.3	$0.805	1/3	109.9s
Total de testes 3 Testes errados 2 Custo total $0.805 Tempo de resposta (médio) 109.9s
#125	Qwen3.7 Flash medium	Qwen	2	6.2	$0.065	1/3	46.8s
Total de testes 3 Testes errados 2 Custo total $0.065 Tempo de resposta (médio) 46.8s
#134	GLM 5.3 low	Z.ai	2	6.2	$0.257	1/3	21.0s
Total de testes 3 Testes errados 2 Custo total $0.257 Tempo de resposta (médio) 21.0s
#136	Gemini 3 Flash Preview none	Google	2	5.5	$0.085	1/3	1.80s
Total de testes 3 Testes errados 2 Custo total $0.085 Tempo de resposta (médio) 1.80s
#138	GLM 5.2 none	Z.ai	2	3.7	$0.153	0/3	7.55s
Total de testes 3 Testes errados 3 Custo total $0.153 Tempo de resposta (médio) 7.55s

Filtrar modelos

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado

Programação: Resposta incorreta

Filtrar modelos

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado