Ranking de Específico do domínio x Erro de API

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Erro de API em Específico do domínio, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta314 Tempo esgotado34 Formatação extra12 Erro de API6 Sem resposta5 Não seguiu as instruções1

Categorias

Programação43 Análise e extração de dados16 Chamada de ferramentas15 Combinado13 Resolução de quebra-cabeças13 Truques anti-IA13 Conhecimentos gerais12 Inteligência geral12 Específico do domínio6 Seguimento de instruções1

Posição	Modelo	Empresa	Contagem de Erro de API	Pontuação da categoria	Testes corretos	Tempo de resposta (médio)
#93	Qwen3.6 Plus Preview medium	Qwen	1	3.0	0/3	22.1s
#103	DeepSeek V4 Pro high	DeepSeek	1	2.9	0/3	205.7s
#132	Mistral Small 4 medium	Mistral	1	5.3	1/3	6.11s
#133	DeepSeek V3.2 none	DeepSeek	1	2.9	0/3	4.17s
#156	Hy3 preview none	Tencent	1	3.6	0/3	17.6s
#160	LFM2-24B-A2B none	Liquid	1	5.9	1/3	287ms

Melhores modelos por Contagem de Erro de API