Navegação
AI BENCHY
Advertise here

Mercury 2 (medium) vs Step 3.7 Flash (low)

Step 3.7 Flash (low) lidera na pontuação média com 7.3 vs 7.0. Mercury 2 (medium) tem menor custo de benchmark com $0.093 vs $0.454. Mercury 2 (medium) é mais rápido com 2.72s vs 20.68s, com taxas de acerto de 51.5% vs 68.2%.

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-07-25

Posição
#86
Total de tokens de saída
87,119
Tempo de resposta (médio)
2.72s
Custo total
$0.093
Posição
#75
Total de tokens de saída
376,581
Tempo de resposta (médio)
20.68s
Custo total
$0.454
Modelo recomendado Mercury 2 (medium)

A pontuação fica perto da melhor aqui (7.0 vs 7.3) e custa cerca de 4.9x menos que Step 3.7 Flash (low).

Comparação detalhada

Métrica Mercury 2 Mercury 2 medium Lançamento: 2026-02-24 Step 3.7 Flash Step 3.7 Flash low Lançamento: 2026-05-29
Pontuação 7.0 7.3
Posição #86 #75
Confiabilidade 10.0 10.0
Consistência 8.8 8.1
Testes corretos
Taxa de acerto por tentativa 51.5% 68.2%
Testes instáveis 3 5
Execuções totais 66 66
Custo por resultado 0.928 3.782
Custo total $0.093 $0.454
Preço de entrada $0.250 / 1M $0.200 / 1M
Preço de saída $0.750 / 1M $1.150 / 1M
Total de tokens de entrada 109,572 103,833
Tokens de saída 10,313 376,581
Tokens de raciocínio 76,806 0
Tempo de resposta (médio) 2.72s 20.68s
Tempo de resposta (máx.) 14.63s 124.75s
Tempo de resposta (total) 57.12s 455.01s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#86 Mercury 2

medium
Custo
$0.002
Tempo
2.1s
Tokens
1,702 tok

#75 Step 3.7 Flash

low
SVG inválido
Custo
$0.004
Tempo
25.3s
Tokens
3,072 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Programação Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0

Comparação rápida

Trocar par de comparação