Ranking de Programação x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

456

Modelo mais afetado

Qwen3.6 Flash 3

Motivos de falha

Resposta incorreta456 Erro de API64 Não seguiu as instruções41 Sem resposta41 Formatação extra36 Tempo esgotado24

Categorias

Específico do domínio811 Truques anti-IA470 Programação456 Resolução de quebra-cabeças323 Conhecimentos gerais289 Combinado121 Inteligência geral121 Tarefas de agentes120 Seguimento de instruções101 Análise e extração de dados77

265/265

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#223	LongCat 2.0 none	Meituan	2	0.5	$0.104	1/3	2.85s
Total de testes 3 Testes errados 2 Custo total $0.104 Tempo de resposta (médio) 2.85s
#225	Qwen3.6 27B none	Qwen	2	0.5	$0.148	1/3	4.16s
Total de testes 3 Testes errados 2 Custo total $0.148 Tempo de resposta (médio) 4.16s
#227	Gemini 3.1 Flash Lite Preview low	Google	2	0.5	$0.736	1/3	1.39s
Total de testes 3 Testes errados 2 Custo total $0.736 Tempo de resposta (médio) 1.39s
#228	Gemini 3.1 Flash Lite low	Google	2	0.5	$0.717	1/3	1.53s
Total de testes 3 Testes errados 2 Custo total $0.717 Tempo de resposta (médio) 1.53s
#233	Space Bunny Alpha medium	Stealth	2	0.5	$0.000	1/3	6.82s
Total de testes 3 Testes errados 2 Custo total $0.000 Tempo de resposta (médio) 6.82s
#237	Grok 4.20 medium	X AI	2	0.6	$1.246	1/3	109.9s
Total de testes 3 Testes errados 2 Custo total $1.246 Tempo de resposta (médio) 109.9s
#238	Space Bunny Alpha xhigh	Stealth	2	0.7	$0.000	1/3	10.6s
Total de testes 3 Testes errados 2 Custo total $0.000 Tempo de resposta (médio) 10.6s
#242	Gemini 3.1 Flash Lite Preview none	Google	2	0.5	$0.090	1/3	967ms
Total de testes 3 Testes errados 2 Custo total $0.090 Tempo de resposta (médio) 967ms
#248	Qwen3.5 Plus 2026-04-20 none	Qwen	2	0.4	$0.216	0/3	1.69s
Total de testes 3 Testes errados 3 Custo total $0.216 Tempo de resposta (médio) 1.69s
#249	Granite 4.2 8B medium	IBM Granite	2	0.5	$0.029	1/3	12.1s
Total de testes 3 Testes errados 2 Custo total $0.029 Tempo de resposta (médio) 12.1s
#250	KAT-Coder-Pro V2.5 default	Kwaipilot	2	0.6	$0.742	1/3	22.5s
Total de testes 3 Testes errados 2 Custo total $0.742 Tempo de resposta (médio) 22.5s
#253	GLM 5.3 FlashX low	Z.ai	2	0.5	$0.157	1/3	5.45s
Total de testes 3 Testes errados 2 Custo total $0.157 Tempo de resposta (médio) 5.45s
#256	Seed-2.0-Lite none	Bytedance Seed	2	0.6	$0.114	1/3	2.83s
Total de testes 3 Testes errados 2 Custo total $0.114 Tempo de resposta (médio) 2.83s
#257	Gemini 3.1 Flash Lite minimal	Google	2	0.5	$0.080	1/3	831ms
Total de testes 3 Testes errados 2 Custo total $0.080 Tempo de resposta (médio) 831ms
#258	gpt-oss-120b medium	OpenAI	2	0.6	$0.030	1/3	38.4s
Total de testes 3 Testes errados 2 Custo total $0.030 Tempo de resposta (médio) 38.4s

Filtrar modelos

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado

Programação: Resposta incorreta

Filtrar modelos

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado