Ranking de Combinado x Não seguiu as instruções

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Não seguiu as instruções em Combinado, para identificar pontos fracos mais rápido. Ordenar por: Tempo de resposta (médio) ↑.

Modelos exibidos

Falhas totais

Modelo mais afetado

MiMo-V2.5-Pro 1

Motivos de falha

Resposta incorreta53 Chamada de ferramenta inválida20 Erro de API13 Sem resposta2 Tempo esgotado2 Formatação extra1 Não seguiu as instruções1

Categorias

Resolução de quebra-cabeças82 Inteligência geral72 Truques anti-IA30 Programação16 Seguimento de instruções12 Chamada de ferramentas6 Combinado1 Específico do domínio1

1/1

Posição	Modelo	Empresa	Contagem de Não seguiu as instruções	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#119	MiMo-V2.5-Pro none	Xiaomi	1	3.0	$0.017	0/1	3.54s
Total de testes 1 Testes errados 1 Custo total $0.017 Tempo de resposta (médio) 3.54s

Filtrar modelos

Melhores modelos por Contagem de Não seguiu as instruções

Contagem de Não seguiu as instruções vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado

Combinado: Não seguiu as instruções

Filtrar modelos

Melhores modelos por Contagem de Não seguiu as instruções

Contagem de Não seguiu as instruções vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado