Navegação
Advertise here

Ember-1 vs Step 3.5 Flash (medium)

A pontuação média está praticamente empatada em 5.4 vs 5.4. Step 3.5 Flash (medium) tem menor custo de benchmark com $0.105 vs $0.786. Ember-1 é mais rápido com 22.65s vs 190.48s, com taxas de acerto de 43.5% vs 49.3%.

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-10-01

Modelos comparados

Posição
#277
Total de tokens de saída
11,832
Tempo de resposta (médio)
22.65s
Custo total
$0.786
Posição
#276
Total de tokens de saída
607,130
Tempo de resposta (médio)
190.48s
Custo total
$0.105
Modelo recomendado Step 3.5 Flash (medium)

Tem a melhor pontuação aqui (5.4) e custa cerca de 7.5x menos que Ember-1.

Comparação detalhada

Métrica Ember-1 Ember-1 none Lançamento: 2026-09-28 Step 3.5 Flash Step 3.5 Flash medium Lançamento: 2026-02-01
Pontuação 5.4 5.4
Posição #277 #276
Confiabilidade 8.8 10.0
Consistência 8.6 8.3
Tentativas 69/69 66/69
Testes corretos
Taxa de acerto por tentativa 43.5% 49.3%
Testes instáveis 4 3
Execuções totais 69 66
Custo por resultado 9.817 1.047
Custo total $0.786 $0.105
Preço de entrada $3.000 / 1M $0.100 / 1M
Preço de saída $15.000 / 1M $0.300 / 1M
Total de tokens de entrada 202,617 139,086
Tokens de saída 11,832 193,584
Tokens de raciocínio 0 413,546
Tempo de resposta (médio) 22.65s 190.48s
Tempo de resposta (máx.) 93.12s 1597.85s
Tempo de resposta (total) 520.91s 3238.23s
Parâmetros ~2.8T no total (~104B ativos) 196B no total (11B ativos)
Disponibilidade Código fechado Código aberto

Geração showcase de modelos

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#277 Ember-1

none
Custo
$0.156
Tempo
224.6s
Tokens
10,555 tok

#276 Step 3.5 Flash

medium
Custo
$0.008
Tempo
277.1s
Tokens
23,695 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Programação Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de entrada Tokens de saída Tokens de raciocínio
Ember-1 5.5 10.0 33.3% 0 1.94s 7,485 393 0
Step 3.5 Flash 2.4 5.2 0.0% 0 258.38s 2,211 13,207 22,429

Comparação rápida

Trocar par de comparação