AI BENCHY
Advertise here

Falhas por categoria AI BENCHY

Seguimento de instruções: Resposta incorreta

Seguimento de instruções
Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Seguimento de instruções, para identificar pontos fracos mais rápido. Ordenar por: Testes corretos ↓.

Modelos exibidos

15

Falhas totais

53

Modelo mais afetado

Gemini 3.5 Flash 1

Motivos de falha

Resposta incorreta53 Não seguiu as instruções11 Formatação extra2 Sem resposta2 Erro de API1

Categorias

Específico do domínio314 Truques anti-IA245 Programação194 Resolução de quebra-cabeças147 Conhecimentos gerais130 Seguimento de instruções53 Combinado52 Análise e extração de dados35 Inteligência geral32 Chamada de ferramentas2
Posição Modelo Empresa Contagem de Resposta incorreta Pontuação da categoria Testes corretos Tempo de resposta (médio)
#32 Gemini 3.5 Flash minimal Google 1 6.4 1/2 893ms
#48 Gemini 3 Flash Preview none Google 1 6.4 1/2 1.58s
#55 GLM 5.1 medium Z.ai 1 6.4 1/2 7.47s
#77 Claude Sonnet 4.6 none Anthropic 1 6.5 1/2 1.96s
#85 Gemma 4 31B none Google 1 6.5 1/2 2.84s
#88 Qwen3.7 Plus none Qwen 1 6.3 1/2 929ms
#91 GPT-5.5 none OpenAI 1 6.2 1/2 1.15s
#101 Mimo V2 Omni none Xiaomi 1 6.5 1/2 4.26s
#102 Gemma 4 26B A4B none Google 1 6.3 1/2 690ms
#106 Grok 4.20 Beta none X AI 1 6.3 1/2 649ms
#108 Qwen3.5-Flash none Qwen 1 6.3 1/2 8.81s
#109 GLM 5V Turbo none Z.ai 1 6.5 1/2 1.97s
#111 Owl Alpha medium Openrouter 1 6.5 1/2 10.2s
#113 DeepSeek V4 Pro none DeepSeek 1 6.3 1/2 8.23s
#114 Qwen3.5 Plus 2026-04-20 none Qwen 1 6.2 1/2 1.17s

Melhores modelos por Contagem de Resposta incorreta

Contagem de Resposta incorreta vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado