Ranking de Resolução de quebra-cabeças x Erro de API

Veja quais modelos de IA têm mais chance de encontrar Erro de API em Resolução de quebra-cabeças, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta344 Não seguiu as instruções160 Erro de API35 Formatação extra16 Sem resposta14 Tempo esgotado11

Categorias

Programação65 Combinado62 Truques anti-IA44 Específico do domínio40 Chamada de ferramentas39 Tarefas de agentes36 Resolução de quebra-cabeças35 Análise e extração de dados32 Seguimento de instruções25 Conhecimentos gerais19

23/23

Posição	Modelo	Empresa	Contagem de Erro de API	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#374	Hy3 preview low	Tencent	1	0.5	$0.042	1/3	7.51s
Total de testes 3 Testes errados 2 Custo total $0.042 Tempo de resposta (médio) 7.51s
#394	Laguna M.1 medium	Poolside	1	0.5	$0.033	1/3	10.2s
Total de testes 3 Testes errados 2 Custo total $0.033 Tempo de resposta (médio) 10.2s
#403	Laguna M.1 default	Poolside	1	0.3	$0.009	0/3	891ms
Total de testes 3 Testes errados 3 Custo total $0.009 Tempo de resposta (médio) 891ms
#409	Laguna Xs.2 medium	Poolside	1	0.5	$0.015	1/3	1.93s
Total de testes 3 Testes errados 2 Custo total $0.015 Tempo de resposta (médio) 1.93s
#416	Laguna Xs.2 default	Poolside	1	0.5	$0.004	1/3	650ms
Total de testes 3 Testes errados 2 Custo total $0.004 Tempo de resposta (médio) 650ms
#420	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	0.3	$0.000	0/3	1.40s
Total de testes 3 Testes errados 3 Custo total $0.000 Tempo de resposta (médio) 1.40s
#422	Nemotron 3 Nano Omni 30b A3b Reasoning default	NVIDIA	1	0.3	$0.000	0/3	532ms
Total de testes 3 Testes errados 3 Custo total $0.000 Tempo de resposta (médio) 532ms
#436	LFM2-24B-A2B default	Liquid	1	0.4	$0.001	0/3	1.78s
Total de testes 3 Testes errados 3 Custo total $0.001 Tempo de resposta (médio) 1.78s

Filtrar modelos