StepFun: Step 3.5 Flash

Benchmarks gerados a partir das suítes de teste do Aibenchy em : 19 de fev. de 2026

Detalhamento por categoria

Categoria	Testes totalmente aprovados	Score	Consistência	Taxa de acerto por tentativa	Testes instáveis	Pontuação de raciocínio	Custo
Anti-AI Tricks	1/2	5.50	5.81	83.3%	1	10.00	$0.00000
Data parsing and extraction	1/2	5.00	10.00	50.0%	0	9.75	$0.00000
Domain specific	1/3	4.00	7.21	44.4%	1	8.44	$0.00000
Instructions following	2/2	10.00	10.00	100.0%	0	9.67	$0.00000
Puzzle Solving	0/3	2.00	4.96	33.3%	2	9.22	$0.00000

Comparar StepFun: Step 3.5 Flash com...

#17 · MiniMax

Raciocínio (medium)

Score: 5.08

Consistência: 6.00

Taxa de acerto por tentativa: 61.1%

Testes instáveis: 6

Custo por resultado: 4.0276

Testes corretos: 5/12

Custo total: $0.20138

#19 · OpenAI

Sem raciocínio

Score: 4.00

Consistência: 9.98

Taxa de acerto por tentativa: 25.0%

Testes instáveis: 0

Custo por resultado: 0.0576

Testes corretos: 3/12

Custo total: $0.00173

#16 · Anthropic

Raciocínio (medium)

Score: 5.42

Consistência: 8.60

Taxa de acerto por tentativa: 55.5%

Testes instáveis: 2

Custo por resultado: 12.8695

Testes corretos: 6/12

Custo total: $0.77217

Comparar StepFun: Step 3.5 Flash com...