AI BENCHY
Advertise here

Falhas por categoria AI BENCHY

Programação: Resposta incorreta

Programação
Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Programação, para identificar pontos fracos mais rápido. Ordenar por: Contagem de falhas ↑.

Modelos exibidos

15

Falhas totais

120

Modelo mais afetado

Gemini 3 Flash Preview 1

Motivos de falha

Resposta incorreta120 Sem resposta18 Não seguiu as instruções16 Tempo esgotado12 Formatação extra7 Erro de API6

Categorias

Específico do domínio298 Truques anti-IA235 Resolução de quebra-cabeças148 Conhecimentos gerais127 Programação120 Seguimento de instruções52 Combinado51 Análise e extração de dados32 Inteligência geral27 Chamada de ferramentas2
Posição Modelo Empresa Contagem de Resposta incorreta Pontuação da categoria Testes corretos Tempo de resposta (médio)
#1 Gemini 3 Flash Preview medium Google 1 7.9 1/2 96.0s
#3 Gemini 3.5 Flash low Google 1 6.8 1/2 5.54s
#4 Gemini 3.1 Pro Preview medium Google 1 7.0 1/2 54.3s
#9 Gemini 3.5 Flash none Google 1 8.2 1/2 39.6s
#11 GPT-5.5 medium OpenAI 1 8.2 1/2 69.7s
#12 Gemini 3 Flash Preview low Google 1 7.3 1/2 6.66s
#14 Qwen3.6 Max Preview medium Qwen 1 8.2 1/2 178.0s
#20 Qwen3.5 Plus 2026-02-15 medium Qwen 1 7.6 1/2 193.8s
#21 Seed-2.0-Lite medium Bytedance Seed 1 7.0 1/2 107.7s
#25 Qwen3.5-27B medium Qwen 1 7.0 1/2 123.9s
#26 Qwen3.7 Max none Qwen 1 6.8 1/2 1.39s
#27 GPT-5.4 medium OpenAI 1 8.2 1/2 55.0s
#33 Qwen3.6 Plus medium Qwen 1 4.1 0/2 201.7s
#34 Gemini 3.1 Flash Lite Preview medium Google 1 6.8 1/2 3.98s
#35 Gemini 3.1 Flash Lite medium Google 1 6.8 1/2 3.59s

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado