Mercury 2 (medium) vs Step 3.7 Flash (high)

Modelos comparados

Modelo recomendado Mercury 2 (medium)

Tem a melhor pontuação aqui (6.6) e custa cerca de 11.2x menos que Step 3.7 Flash (high).

Métrica	Mercury 2 Mercury 2 medium Lançamento: 2026-02-24	Step 3.7 Flash Step 3.7 Flash high Lançamento: 2026-05-29

Métrica	Mercury 2 Mercury 2 medium Lançamento: 2026-02-24	Step 3.7 Flash Step 3.7 Flash high Lançamento: 2026-05-29
Pontuação	6.6	6.6
Posição	#189	#190
Confiabilidade	10.0	10.0
Consistência	8.1	8.5
Tentativas	69/69	69/69
Testes corretos
Taxa de acerto por tentativa	53.6%	58.0%
Testes instáveis	5	4
Execuções totais	69	69
Custo por resultado	1.201	12.267
Custo total	$0.121	$1.350
Preço de entrada	$0.250 / 1M	$0.200 / 1M
Preço de saída	$0.750 / 1M	$1.150 / 1M
Total de tokens de entrada	189,300	421,200
Tokens de saída	10,854	1,100,052
Tokens de raciocínio	86,089	0
Tempo de resposta (médio)	4.40s	72.72s
Tempo de resposta (máx.)	34.92s	364.99s
Tempo de resposta (total)	96.81s	1672.53s
Parâmetros	~100B	198B no total (11B ativos)
Disponibilidade	Código fechado	Código aberto

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

medium

high

Categoria:

Tarefas de agentes	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	4.7	1.6	66.7%	1		34.92s	78,785	529	8,860
Step 3.7 Flash	5.4	9.6	0.0%	0		130.38s	322,500	49,152	0

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	6.7	9.1	50.0%	0		7.84s	87,365	6,533	20,474
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	2.9	4.4	22.2%	2		8.06s	1,638	53	31,177
Step 3.7 Flash	3.6	7.2	22.2%	1		189.35s	792	429,007	0

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

Trocar par de comparação