Ranking de falhas por Erro de API

Falhas AI BENCHY

Veja quais modelos de IA encontram Erro de API com mais frequência para identificar riscos de confiabilidade antes de escolher. Ordenar por: Testes corretos ↑.

Modelos exibidos

Falhas totais

Modelo mais afetado

Step 3.5 Flash 1

Categorias

Na categoria Análise e extração de dados6 Na categoria Chamada de ferramentas6 Na categoria Programação6 Na categoria Combinado5 Na categoria Específico do domínio2 Na categoria Resolução de quebra-cabeças1 Na categoria Seguimento de instruções1

Posição	Modelo	Empresa	Contagem de Erro de API	Pontuação	Testes corretos	Tempo de resposta (médio)
#14	Gemma 4 31B medium	Google	2	8.3	13/18	24.9s
#20	Qwen3.6 Plus medium	Qwen	1	8.1	13/18	15.3s
#12	Gemini 3 PRO Preview medium	Google	1	8.4	14/18	9.06s

Falhas por Erro de API

Melhores modelos por Contagem de Erro de API

Contagem de Erro de API vs Pontuação

Melhores modelos por Tempo de resposta (médio)