Ranking de Resolução de quebra-cabeças x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Resolução de quebra-cabeças, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

352

Modelo mais afetado

Motivos de falha

Resposta incorreta352 Não seguiu as instruções166 Erro de API35 Formatação extra16 Sem resposta14 Tempo esgotado11

Categorias

Específico do domínio893 Truques anti-IA519 Programação484 Resolução de quebra-cabeças352 Conhecimentos gerais315 Inteligência geral134 Combinado128 Tarefas de agentes128 Seguimento de instruções117 Análise e extração de dados93

246/246

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#441	Decider Flash V1.2 default	Perplexity	1	1.0	$0.001	0/1	424ms
Total de testes 1 Testes errados 1 Custo total $0.001 Tempo de resposta (médio) 424ms
#443	D1 default	Liquid	1	0.2	$0.003	0/1	570ms
Total de testes 1 Testes errados 1 Custo total $0.003 Tempo de resposta (médio) 570ms
#446	Solar Decide Flash default	Upstage	1	1.0	$0.003	0/1	1.66s
Total de testes 1 Testes errados 1 Custo total $0.003 Tempo de resposta (médio) 1.66s
#447	Microsoft-Decision-1 default	Microsoft	1	0.2	$0.002	0/1	669ms
Total de testes 1 Testes errados 1 Custo total $0.002 Tempo de resposta (médio) 669ms
#448	Solar Decide default	Upstage	1	1.0	$0.009	0/1	3.47s
Total de testes 1 Testes errados 1 Custo total $0.009 Tempo de resposta (médio) 3.47s
#449	Tev1 4B Experimental default	Togethercomputer	1	0.2	$0.002	0/1	432ms
Total de testes 1 Testes errados 1 Custo total $0.002 Tempo de resposta (médio) 432ms

Filtrar modelos