Ranking de Resolução de quebra-cabeças x Resposta incorreta

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Resolução de quebra-cabeças, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

147

Modelo mais afetado

Motivos de falha

Resposta incorreta147 Não seguiu as instruções78 Erro de API13 Formatação extra5 Tempo esgotado5 Sem resposta1

Categorias

Específico do domínio314 Truques anti-IA245 Programação194 Resolução de quebra-cabeças147 Conhecimentos gerais130 Seguimento de instruções53 Combinado52 Análise e extração de dados35 Inteligência geral32 Chamada de ferramentas2

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#124	Kimi K2.6 none	Moonshot AI	2	3.1	0/3	1.40s
#127	Grok 4.20 none	X AI	2	5.3	1/3	473ms
#128	Qwen3.6 Flash none	Qwen	2	3.5	0/3	1.21s
#131	Qwen3.5-122B-A10B none	Qwen	2	3.8	0/3	1.00s
#132	Mistral Small 4 medium	Mistral	2	3.4	0/3	2.17s
#137	Elephant Alpha none	Openrouter	2	4.2	0/3	807ms
#138	Ling-2.6-flash none	Inclusionai	2	2.9	0/3	6.51s
#142	Mistral Small 4 none	Mistral	2	3.1	0/3	399ms
#145	Laguna M.1 none	Poolside	2	3.0	0/3	891ms
#147	GPT-4o-mini none	OpenAI	2	3.5	0/3	1.21s
#149	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	2	2.9	0/3	1.40s
#150	Qwen3 Coder Next medium	Qwen	2	3.0	0/3	1.25s
#151	Trinity Large Preview none	Arcee AI	2	3.6	0/3	1.97s
#152	MiMo-V2-Flash none	Xiaomi	2	5.3	1/3	1.86s
#154	Qwen3.5-9B none	Qwen	2	3.2	0/3	621ms

←

1 2 3 8

→

Melhores modelos por Contagem de Resposta incorreta