Ranking de Resolução de quebra-cabeças x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Resolução de quebra-cabeças, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

275

Modelo mais afetado

Motivos de falha

Resposta incorreta275 Não seguiu as instruções128 Erro de API15 Formatação extra14 Sem resposta11 Tempo esgotado11

Categorias

Específico do domínio654 Truques anti-IA386 Programação361 Resolução de quebra-cabeças275 Conhecimentos gerais244 Combinado95 Inteligência geral90 Seguimento de instruções82 Análise e extração de dados66 Chamada de ferramentas5

186/186

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#294	Laguna Xs.2 medium	Poolside	1	5.3	$0.015	1/3	1.93s
Total de testes 3 Testes errados 2 Custo total $0.015 Tempo de resposta (médio) 1.93s
#300	Grok Build 0.1 none	X AI	1	6.4	$0.547	1/3	9.55s
Total de testes 3 Testes errados 2 Custo total $0.547 Tempo de resposta (médio) 9.55s
#304	Qwen3.5-9B medium	Qwen	1	3.0	$0.062	0/3	32.3s
Total de testes 3 Testes errados 3 Custo total $0.062 Tempo de resposta (médio) 32.3s
#306	Laguna Xs.2 none	Poolside	1	5.3	$0.004	1/3	650ms
Total de testes 3 Testes errados 2 Custo total $0.004 Tempo de resposta (médio) 650ms
#307	gpt-oss-120b none	OpenAI	1	6.0	$0.010	1/3	8.21s
Total de testes 3 Testes errados 2 Custo total $0.010 Tempo de resposta (médio) 8.21s
#309	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	1	3.0	$0.000	0/3	532ms
Total de testes 3 Testes errados 3 Custo total $0.000 Tempo de resposta (médio) 532ms

Filtrar modelos