AI BENCHY
Advertise here

Falhas por categoria AI BENCHY

Específico do domínio: Erro de API

Específico do domínio
Erro de API

Veja quais modelos de IA têm mais chance de encontrar Erro de API em Específico do domínio, para identificar pontos fracos mais rápido. Ordenar por: Tempo de resposta (médio) ↑.

Modelos exibidos

6

Falhas totais

6

Modelo mais afetado

LFM2-24B-A2B 1

Motivos de falha

Resposta incorreta314 Tempo esgotado34 Formatação extra12 Erro de API6 Sem resposta5 Não seguiu as instruções1

Categorias

Programação43 Análise e extração de dados16 Chamada de ferramentas15 Combinado13 Resolução de quebra-cabeças13 Truques anti-IA13 Conhecimentos gerais12 Inteligência geral12 Específico do domínio6 Seguimento de instruções1
Posição Modelo Empresa Contagem de Erro de API Pontuação da categoria Testes corretos Tempo de resposta (médio)
#160 LFM2-24B-A2B none Liquid 1 5.9 1/3 287ms
#133 DeepSeek V3.2 none DeepSeek 1 2.9 0/3 4.17s
#132 Mistral Small 4 medium Mistral 1 5.3 1/3 6.11s
#156 Hy3 preview none Tencent 1 3.6 0/3 17.6s
#93 Qwen3.6 Plus Preview medium Qwen 1 3.0 0/3 22.1s
#103 DeepSeek V4 Pro high DeepSeek 1 2.9 0/3 205.7s

Melhores modelos por Contagem de Erro de API

Contagem de Erro de API vs Pontuação

Melhores modelos por Tempo de resposta (médio)

Melhores modelos por Custo desperdiçado estimado