Navegação
AI BENCHY
Your ad here

AI BENCHY Compare

StepFun: Step 3.5 Flash vs xAI: Grok 4.20 Multi-Agent Beta

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-03-12

Métrica Step 3.5 Flash Step 3.5 Flash medium Lançamento: 2026-02-01 Disponível grátis Grok 4.20 Multi-Agent Beta Grok 4.20 Multi-Agent Beta medium Lançamento: 2026-03-12
Posição #14 #47
Pontuação média 7.4 4.9
Consistência 9.1 7.1
Custo por resultado 0.000 97.178
Custo total $0.000 $4.859
Testes corretos
Taxa de acerto por tentativa 68.8% 52.1%
Testes instáveis 2 6
Execuções totais 48 48
Tokens de saída 71,452 293,634
Tokens de raciocínio 155,147 291,260
Tempo de resposta (médio) 29.10s 9.08s
Tempo de resposta (máx.) 170.45s 35.28s
Tempo de resposta (total) 290.96s 127.09s

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação média vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação média vs Total de tokens de saída

Detalhamento por categoria

Truques anti-IA Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 10.0 10.0 100.0% 0 18.54s 13,924 17,208
Grok 4.20 Multi-Agent Beta 4.0 4.4 66.7% 2 3.77s 28,392 27,808
Combinado Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 10.0 10.0 100.0% 0 29.57s 1,176 12,984
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Análise e extração de dados Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 10.0 10.0 100.0% 0 15.01s 600 13,886
Grok 4.20 Multi-Agent Beta 9.9 10.0 100.0% 0 5.54s 25,306 25,051
Específico do domínio Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 4.0 7.2 44.4% 1 170.45s 45,350 90,436
Grok 4.20 Multi-Agent Beta 10.0 7.2 11.1% 1 24.67s 164,609 163,647
Inteligência geral Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 6.0 10.0 0.0% 0 6.54s 2,214 2,584
Grok 4.20 Multi-Agent Beta 4.0 2.8 66.7% 1 6.40s 15,848 15,746
Seguimento de instruções Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 9.0 6.8 83.3% 1 4.98s 2,284 3,412
Grok 4.20 Multi-Agent Beta 9.0 10.0 50.0% 0 4.63s 25,457 25,322
Puzzle Solving Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 4.0 10.0 33.3% 0 7.72s 5,629 10,835
Grok 4.20 Multi-Agent Beta 6.3 5.1 77.8% 2 5.01s 34,022 33,686
Chamada de ferramentas Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Step 3.5 Flash 10.0 10.0 100.0% 0 11.91s 275 3,802
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0

Comparação rápida

Trocar par de comparação

Qwen3.5-27BnonevsGrok 4.20 Multi-Agent BetamediumGPT-5.2 ChatnonevsStep 3.5 FlashmediumDisponível grátisSeed-2.0-LitenonevsGrok 4.20 Multi-Agent BetamediumQwen3.5-122B-A10BnonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewlowvsStep 3.5 FlashmediumDisponível grátisGPT-5.3 ChatnonevsStep 3.5 FlashmediumDisponível grátisQwen3.5-35B-A3BnonevsGrok 4.20 Multi-Agent BetamediumGemini 3 Flash PreviewnonevsStep 3.5 FlashmediumDisponível grátisGemini 2.5 FlashnonevsGrok 4.20 Multi-Agent BetamediumQwen3.5-FlashnonevsGrok 4.20 Multi-Agent BetamediumHunter AlphanonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewnonevsStep 3.5 FlashmediumDisponível grátis