Falhas AI BENCHY
Falhas por Resposta incorreta
Veja quais modelos de IA encontram Resposta incorreta com mais frequência para identificar riscos de confiabilidade antes de escolher.
Categorias
Na categoria Específico do domínio182 Na categoria Truques anti-IA165 Na categoria Resolução de quebra-cabeças85 Na categoria Seguimento de instruções44 Na categoria Combinado37 Na categoria Programação28 Na categoria Análise e extração de dados19 Na categoria Inteligência geral10 Na categoria Chamada de ferramentas2
| Posição | Modelo | Empresa | Contagem de Resposta incorreta | Pontuação | Testes corretos | Tempo de resposta (médio) |
|---|---|---|---|---|---|---|
| #43 | Qwen3.5-35B-A3B medium | Qwen | 2 | 7.4 | 10/18 | 44.5s |
| #2 | Gemini 3.1 Pro Preview medium | 1 | 9.6 | 17/18 | 16.0s | |
| #3 | Claude Opus 4.7 medium | Anthropic | 1 | 9.2 | 16/18 | 3.53s |
| #10 | Qwen3.5-27B medium | Qwen | 1 | 8.4 | 13/18 | 53.0s |
| #14 | Gemma 4 31B medium | 1 | 8.3 | 13/18 | 24.9s | |
| #32 | Qwen3.5-Flash medium | Qwen | 1 | 7.8 | 11/18 | 66.7s |
| #97 | Qwen3.5-9B medium | Qwen | 1 | 4.4 | 3/18 | 73.6s |