Ranking de Seguimento de instruções x Resposta incorreta

Veja quais modelos de IA têm mais chance de encontrar Resposta incorreta em Seguimento de instruções, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

111

Modelo mais afetado

Motivos de falha

Resposta incorreta111 Não seguiu as instruções73 Erro de API25 Formatação extra8 Tempo esgotado5 Sem resposta2

Categorias

Específico do domínio878 Truques anti-IA502 Programação477 Resolução de quebra-cabeças344 Conhecimentos gerais306 Inteligência geral129 Combinado126 Tarefas de agentes126 Seguimento de instruções111 Análise e extração de dados93

111/111

Posição	Modelo	Empresa	Contagem de Resposta incorreta	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#434	D1 default	Liquid	1	0.2	$0.003	0/1	820ms
Total de testes 1 Testes errados 1 Custo total $0.003 Tempo de resposta (médio) 820ms
#436	LFM2-24B-A2B default	Liquid	1	0.6	$0.001	1/2	752ms
Total de testes 2 Testes errados 1 Custo total $0.001 Tempo de resposta (médio) 752ms
#437	Solar Decide Flash default	Upstage	1	0.2	$0.003	0/1	1.66s
Total de testes 1 Testes errados 1 Custo total $0.003 Tempo de resposta (médio) 1.66s
#438	Microsoft-Decision-1 default	Microsoft	1	0.2	$0.002	0/1	997ms
Total de testes 1 Testes errados 1 Custo total $0.002 Tempo de resposta (médio) 997ms
#440	Tev1 4B Experimental default	Togethercomputer	1	0.2	$0.002	0/1	555ms
Total de testes 1 Testes errados 1 Custo total $0.002 Tempo de resposta (médio) 555ms
#441	Nimble v3 9B default	Bespoke Labs	1	0.2	~$0.001	0/1	469ms
Total de testes 1 Testes errados 1 Custo total ~$0.001 Tempo de resposta (médio) 469ms

Filtrar modelos