#32 Step 3.7 Flash
medium- Custo
- $0.006
- Tempo
- 46.2s
- Tokens
- 4,466 tok
Resumo
Step 3.7 Flash marca 7.9 no AI BENCHY e fica em #32. Tem fiabilidade 9.9, taxa de acerto de 71.7%, custo total de $0.404 e tempo médio de resposta de 20.29s.
O que torna Step 3.7 Flash único: Destaca-se mais em Específico do domínio, onde fica em #1, enquanto Inteligência geral é a área mais fraca em #18. O custo total do benchmark é invulgarmente baixo para este nível de pontuação.
Pesquisado em 2026-08-12
7.9
Consistência
9.2
$0.404
Total de tokens de saída
344,492
Total de tokens de entrada
0
Preço de entrada
$0.200 / 1M
Preço de saída
$1.150 / 1M
Testes instáveis
2
Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).
20.29s
Tempo de resposta (máx.): 136.44s
Tempo de resposta (total): 405.79s
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
Histórico de execuções
| Testado em | Pontuação | Confiabilidade | Testes corretos | Custo total | Comparar |
|---|---|---|---|---|---|
| 2026-08-14 02:31 Novo teste | 7.9 | 10.0 | $0.495 | Comparar | |
| 2026-07-16 22:50 Novo teste adicionado | 8.0 | 9.9 | $0.515 | Comparar | |
| 2026-06-04 13:52 Novo teste adicionado | 8.0 | 9.9 | $0.376 | Comparar | |
| 2026-05-29 11:49 Execução inicial | 7.9 | 9.9 | $0.404 | Execução atual |
Comparação de execuções
| Execução | Cobertura do benchmark | Pontuação | Consistência | Confiabilidade | Testes corretos | Testes instáveis | Total de tokens de saída | Total de tokens de entrada | Custo total | Tempo de resposta (médio) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-29 11:49 · Execução inicial | 60/60 tentativas | 7.9 | 9.2 | 9.9 | 13/20 | 2 | 344,492 | 0 | $0.404 | 20.29s |
| 2026-08-14 02:31 · Novo teste | 66/66 tentativas | 7.9 | 8.9 | 10.0 | 13/22 | 3 | 409,709 | 114,191 | $0.495 | 23.51s |
| Diferença | — | 0.0 | +0.3 | -0.1 | 0 | -1 | -65217 | -114191 | -$0.091 | -3220ms |
A cobertura do benchmark é diferente: 60/60 tentativas (Meta: 3 repetições por teste) contra 66/66 tentativas (Meta: 3 repetições por teste). Totais e métricas sensíveis a repetições não são diretamente comparáveis.
Estas duas execuções usaram suites de benchmark diferentes, então as diferenças refletem tanto mudanças do modelo quanto da suite.
Escolha o primeiro modelo e depois clique em um segundo modelo para abrir uma página lado a lado.
| Categoria | Pontuação | Consistência | Testes corretos |
|---|---|---|---|
| Truques anti-IA | 8.7 | 7.9 | |
| Programação | 8.2 | 6.7 | |
| Combinado | 10.0 | 10.0 | |
| Análise e extração de dados | 10.0 | 10.0 | |
| Específico do domínio | 7.7 | 10.0 | |
| Inteligência geral | 4.0 | 10.0 | |
| Seguimento de instruções | 9.8 | 10.0 | |
| Resolução de quebra-cabeças | 5.7 | 9.9 | |
| Chamada de ferramentas | 10.0 | 10.0 | |
| Conhecimentos gerais | 3.0 | 10.0 |