Ranking de Programação x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

456

Modelo mais afetado

Qwen3.6 Flash 3

Motivos de falha

Resposta incorreta456 Erro de API64 Não seguiu as instruções41 Sem resposta41 Formatação extra36 Tempo esgotado24

Categorias

Específico do domínio811 Truques anti-IA470 Programação456 Resolução de quebra-cabeças323 Conhecimentos gerais289 Combinado121 Inteligência geral121 Tarefas de agentes120 Seguimento de instruções101 Análise e extração de dados77

265/265

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#285	GPT-6 Luna none	OpenAI	2	0.5	$0.026	1/3	8.04s
Total de testes 3 Testes errados 2 Custo total $0.026 Tempo de resposta (médio) 8.04s
#286	Gemma 4 26B A4B none	Google	2	0.4	$0.031	0/3	4.16s
Total de testes 3 Testes errados 3 Custo total $0.031 Tempo de resposta (médio) 4.16s
#287	GLM 5V Turbo medium	Z.ai	2	0.6	$0.457	1/3	63.4s
Total de testes 3 Testes errados 2 Custo total $0.457 Tempo de resposta (médio) 63.4s
#290	Qwen3.8 27B none	Qwen	2	0.5	~$0.010	1/3	1.19s
Total de testes 3 Testes errados 2 Custo total ~$0.010 Tempo de resposta (médio) 1.19s
#292	Hy4 preview low	Tencent	2	0.5	$1.844	0/3	219.1s
Total de testes 3 Testes errados 3 Custo total $1.844 Tempo de resposta (médio) 219.1s
#293	MiMo-V2.6-Flash none	Xiaomi	2	0.4	$0.060	0/3	744ms
Total de testes 3 Testes errados 3 Custo total $0.060 Tempo de resposta (médio) 744ms
#295	Ember-1 none	Fireworks	2	0.5	$0.786	1/3	1.94s
Total de testes 3 Testes errados 2 Custo total $0.786 Tempo de resposta (médio) 1.94s
#298	Granite 4.2 8B low	IBM Granite	2	0.5	$0.036	1/3	13.0s
Total de testes 3 Testes errados 2 Custo total $0.036 Tempo de resposta (médio) 13.0s
#299	Kimi K2.5 none	Moonshot AI	2	0.5	$0.262	1/3	24.6s
Total de testes 3 Testes errados 2 Custo total $0.262 Tempo de resposta (médio) 24.6s
#302	Qwen3.6 35B A3B none	Qwen	2	0.5	$0.105	1/3	8.77s
Total de testes 3 Testes errados 2 Custo total $0.105 Tempo de resposta (médio) 8.77s
#304	Ling 3.0 Flash none	Inclusionai	2	0.5	$0.004	1/3	6.39s
Total de testes 3 Testes errados 2 Custo total $0.004 Tempo de resposta (médio) 6.39s
#305	Nemotron 3.5 Lightning high	NVIDIA	2	0.4	$0.168	0/3	168.4s
Total de testes 3 Testes errados 3 Custo total $0.168 Tempo de resposta (médio) 168.4s
#311	Mercury 2.5 low	Inception	2	0.5	$0.020	1/3	972ms
Total de testes 3 Testes errados 2 Custo total $0.020 Tempo de resposta (médio) 972ms
#312	KAT Coder AIR V2.5 medium	Kwaipilot	2	0.4	$0.048	0/3	23.4s
Total de testes 3 Testes errados 3 Custo total $0.048 Tempo de resposta (médio) 23.4s
#313	MiMo-V2.5-Pro none	Xiaomi	2	0.4	$0.135	0/3	1.41s
Total de testes 3 Testes errados 3 Custo total $0.135 Tempo de resposta (médio) 1.41s

Filtrar modelos

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado

Programação: Resposta incorreta

Filtrar modelos

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimadoA estimativa inclui apenas a eletricidade da GPU. Exclui o resto do computador e a aquisição do hardware. NVIDIA GeForce RTX 3090: 0.0968 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.009566.

Melhores modelos por Custo desperdiçado estimado