AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs StepFun: Step 3.7 Flash

Resumo

Claude Sonnet 4.6 lidera na pontuação média com 7.3 vs 7.3. Step 3.7 Flash (low) tem menor custo de benchmark com $0.454 vs $0.661. Claude Sonnet 4.6 é mais rápido com 8.12s vs 20.68s, com taxas de acerto de 57.6% vs 68.2%.

Modelo recomendadoClaude Sonnet 4.6Tem a melhor pontuação aqui (7.3) e responde cerca de 2.5x mais rápido que Step 3.7 Flash (low).

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-07-17

Métrica	Claude Sonnet 4.6 Claude Sonnet 4.6 none Lançamento: 2026-02-17	Step 3.7 Flash Step 3.7 Flash low Lançamento: 2026-05-29

Métrica	Claude Sonnet 4.6 Claude Sonnet 4.6 none Lançamento: 2026-02-17	Step 3.7 Flash Step 3.7 Flash low Lançamento: 2026-05-29
Pontuação	7.3	7.3
Posição	#60	#64
Confiabilidade	10.0	10.0
Consistência	9.7	8.1
Testes corretos
Taxa de acerto por tentativa	57.6%	68.2%
Testes instáveis	1	5
Execuções totais	66	66
Custo por resultado	5.502	3.782
Custo total	$0.661	$0.454
Preço de entrada	$3.000 / 1M	$0.200 / 1M
Preço de saída	$15.000 / 1M	$1.150 / 1M
Total de tokens de entrada	123,264	103,833
Tokens de saída	19,362	376,581
Tokens de raciocínio	0	0
Tempo de resposta (médio)	8.12s	20.68s
Tempo de resposta (máx.)	51.18s	124.75s
Tempo de resposta (total)	121.78s	455.01s

Geração showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 Claude Sonnet 4.6

none

Custo: $0.038
Tempo: 27.3s
Tokens: 2,598 tok

#64 Step 3.7 Flash

low

SVG inválido

Custo: $0.004
Tempo: 25.3s
Tokens: 3,072 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Categoria:

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	5.5	10.0	33.3%	0		5.19s	8,522	2,127	0
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	9.8	10.0	100.0%	0		37.51s	91,402	13,663	0
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

Comparação rápida

Trocar par de comparação

Claude Opus 4.8nonevsStep 3.7 Flashlow Kimi K2.6mediumvsStep 3.7 Flashlow Claude Sonnet 4.6nonevsKAT-Coder-Pro V2.5low KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow Claude Sonnet 4.6nonevsGemini 3.1 Flash Lite Previewmedium Claude Sonnet 4.6nonevsGemini 3 Flash Previewlow Claude Sonnet 4.6nonevsGemini 3.1 Flash Litemedium Gemini 3.1 Flash LitemediumvsStep 3.7 Flashlow Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow Qwen3.5 Plus 2026-04-20mediumvsStep 3.7 Flashlow Qwen3.7 PlusnonevsStep 3.7 Flashlow Claude Sonnet 4.6nonevsQwen3.5-27Bmedium