Navegação
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

Resumo

Comparação benchmark Mercury 2 vs Step 3.7 Flash: Step 3.7 Flash lidera na pontuação média com 7.0 vs 6.6. Mercury 2 tem menor custo de benchmark com $0.058 vs $1.148. Mercury 2 é mais rápido com 2.24s vs 64.46s, com taxas de acerto de 54.0% vs 63.5%.

Modelo recomendado: Mercury 2 - A pontuação fica perto da melhor aqui (6.6 vs 7.0) e custa cerca de 19.9x menos que Step 3.7 Flash.

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-06-04

Métrica Mercury 2 Mercury 2 medium Lançamento: 2026-02-24 Step 3.7 Flash Step 3.7 Flash high Lançamento: 2026-05-29
Pontuação 6.6 7.0
Posição #81 #71
Confiabilidade 10.0 10.0
Consistência 8.8 8.2
Testes corretos
Taxa de acerto por tentativa 54.0% 63.5%
Testes instáveis 3 4
Execuções totais 63 63
Custo por resultado 0.578 10.434
Custo total $0.058 $1.148
Preço de entrada $0.250 / 1M $0.200 / 1M
Preço de saída $0.750 / 1M $1.150 / 1M
Total de tokens de entrada 35,116 38,391
Tokens de saída 4,048 991,355
Tokens de raciocínio 61,219 0
Tempo de resposta (médio) 2.24s 64.46s
Tempo de resposta (máx.) 14.63s 364.99s
Tempo de resposta (total) 44.72s 1353.57s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#81 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#71 Step 3.7 Flash

high
Cost
$0.007
Time
63.6s
Tokens
6,030 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Truques anti-IA Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 10.0 10.0 100.0% 0 13.40s 696 42,656 0
Programação Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 4.0 6.0 22.2% 1 206.21s 6,057 327,340 0
Combinado Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 13.01s 13,638 8,802 0
Análise e extração de dados Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 10.0 10.0 100.0% 0 14.72s 7,368 23,113 0
Específico do domínio Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 4.1 4.4 44.5% 2 149.64s 783 410,502 0
Inteligência geral Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 5.5 10.0 0.0% 0 4.17s 510 2,862 0
Seguimento de instruções Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.52s 705 2,010 0
Resolução de quebra-cabeças Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.3 7.2 44.4% 1 10.22s 711 25,422 0
Chamada de ferramentas Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 2.79s 7,701 1,172 0
Conhecimentos gerais Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 149.34s 222 147,476 0

Comparação rápida

Trocar par de comparação

GPT-5.4 NanomediumvsStep 3.7 FlashhighClaude Opus 4.6mediumvsStep 3.7 FlashhighClaude Opus 4.8nonevsStep 3.7 FlashhighMiniMax M3mediumvsStep 3.7 FlashhighDeepSeek V3.2mediumvsStep 3.7 FlashhighQwen3.5-35B-A3BmediumvsStep 3.7 FlashhighStep 3.7 FlashhighvsGrok 4.20mediumGemma 4 31BnoneDisponível grátisvsMercury 2mediumSeed-2.0-MinimediumvsStep 3.7 FlashhighStep 3.7 FlashhighvsMiMo-V2-FlashmediumGPT-5.3 ChatnonevsStep 3.7 FlashhighClaude Sonnet 4.6nonevsMercury 2medium