AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs StepFun: Step 3.7 Flash

Resumo

A pontuação média está praticamente empatada em 7.3 vs 7.3. Step 3.7 Flash (low) tem menor custo de benchmark com $0.454 vs $1.166. Claude Opus 4.8 é mais rápido com 4.91s vs 20.68s, com taxas de acerto de 63.6% vs 68.2%.

Modelo recomendadoClaude Opus 4.8Tem a melhor pontuação aqui (7.3) e responde cerca de 4.2x mais rápido que Step 3.7 Flash (low).

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-07-17

Métrica	Claude Opus 4.8 Claude Opus 4.8 none Lançamento: 2026-05-28	Step 3.7 Flash Step 3.7 Flash low Lançamento: 2026-05-29

Métrica	Claude Opus 4.8 Claude Opus 4.8 none Lançamento: 2026-05-28	Step 3.7 Flash Step 3.7 Flash low Lançamento: 2026-05-29
Pontuação	7.3	7.3
Posição	#63	#64
Confiabilidade	10.0	10.0
Consistência	9.2	8.1
Testes corretos
Taxa de acerto por tentativa	63.6%	68.2%
Testes instáveis	2	5
Execuções totais	66	66
Custo por resultado	8.969	3.782
Custo total	$1.166	$0.454
Preço de entrada	$5.000 / 1M	$0.200 / 1M
Preço de saída	$25.000 / 1M	$1.150 / 1M
Total de tokens de entrada	149,206	103,833
Tokens de saída	16,797	376,581
Tokens de raciocínio	0	0
Tempo de resposta (médio)	4.91s	20.68s
Tempo de resposta (máx.)	35.03s	124.75s
Tempo de resposta (total)	108.03s	455.01s

Geração showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#63 Claude Opus 4.8

none

Custo: $0.053
Tempo: 22.0s
Tokens: 2,253 tok

#64 Step 3.7 Flash

low

SVG inválido

Custo: $0.004
Tempo: 25.3s
Tokens: 3,072 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Categoria:

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	9.8	10.0	100.0%	0		26.38s	111,760	11,949	0
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	5.3	7.2	44.4%	1		1.70s	975	61	0
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

Comparação rápida

Trocar par de comparação

Kimi K2.6mediumvsStep 3.7 Flashlow KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow Claude Opus 4.8nonevsKimi K2.6medium Claude Opus 4.8nonevsGemini 3.1 Flash Litemedium Claude Opus 4.8nonevsKAT-Coder-Pro V2.5high Gemini 3.1 Flash LitemediumvsStep 3.7 Flashlow Claude Opus 4.8nonevsGemini 3.1 Flash Lite Previewmedium Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow Qwen3.5 Plus 2026-04-20mediumvsStep 3.7 Flashlow Claude Opus 4.8nonevsQwen3.5 Plus 2026-04-20medium Claude Sonnet 4.6nonevsStep 3.7 Flashlow Qwen3.7 PlusnonevsStep 3.7 Flashlow