AI BENCHY
Advertise here
#66

Grok 4.20

X AI Lançamento: 2026-03-31 Testado em: 2026-05-08 15:32 x-ai/grok-4.20::medium
~1T no total (~100B ativos)MoECódigo fechadoEstimado
(medium) (none)

Resumo

Grok 4.20 marca 6.9 no AI BENCHY e fica em #66. Tem fiabilidade 10.0, taxa de acerto de 63.2%, custo total de $0.756 e tempo médio de resposta de 14.53s.

Nota de identidade

Grok 4.20 Beta foi a versão de prévia de Grok 4.20.

Dados do modelo

Pesquisado em 2026-08-12

Estimado
Parâmetros
~1T no total (~100B ativos)
Arquitetura
MoE
Disponibilidade
Código fechado
Licença
-

Melhor estimativa com base em evidências públicas; o fornecedor não divulgou todos os valores.

Consistência

8.3

Total de tokens de saída

130,017

Total de tokens de entrada

0

Preço de entrada

$1.250 / 1M

Preço de saída

$2.500 / 1M

Testes corretos

Testes errados: 9

Taxa de acerto por tentativa: 63.2%

Testes instáveis

4

Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).

Tempo de resposta (médio)

14.53s

Tempo de resposta (máx.): 63.48s

Tempo de resposta (total): 276.06s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#66 xAI: Grok 4.20

medium
Custo
$0.041
Tempo
110.3s
Tokens
16,336 tok

Histórico de execuções

Testado em Pontuação Confiabilidade Testes corretos Custo total Comparar
2026-08-14 02:57 Novo teste 7.0 10.0 $0.805 Comparar
2026-07-16 23:07 Novo teste adicionado 7.1 10.0 $0.777 Comparar
2026-06-04 14:17 Novo teste adicionado 7.1 10.0 $0.609 Comparar
2026-05-22 00:32 Suite alterada 6.7 10.0 $0.832 Comparar
2026-05-08 15:32 Suite alterada 6.9 10.0 $0.756 Execução atual
2026-04-11 01:44 Primeira execução registrada 7.0 N/D $0.743 Comparar

Esta execução usou uma suite de benchmark diferente. Considere as mudanças na suite ao analisar a evolução histórica.

Comparação de execuções

ExecuçãoCobertura do benchmarkPontuaçãoConsistênciaConfiabilidadeTestes corretosTestes instáveisTotal de tokens de saídaTotal de tokens de entradaCusto totalTempo de resposta (médio)
2026-05-08 15:32 · Suite alterada57/57 tentativas6.98.310.010/194130,0170$0.75614.53s
2026-06-04 14:17 · Novo teste adicionado63/63 tentativas7.18.810.012/213221,34344,433$0.60927.68s
Diferença-0.3-0.50.0-2+1-91326-44433+$0.147-13150ms

A cobertura do benchmark é diferente: 57/57 tentativas (Meta: 3 repetições por teste) contra 63/63 tentativas (Meta: 3 repetições por teste). Totais e métricas sensíveis a repetições não são diretamente comparáveis.

Estas duas execuções usaram suites de benchmark diferentes, então as diferenças refletem tanto mudanças do modelo quanto da suite.

Gráficos

Escolha o primeiro modelo e depois clique em um segundo modelo para abrir uma página lado a lado.

Total de tokens de saída

Pontuação vs Total de tokens de saída

Comparação rápida

Detalhamento por categoria

Categoria Pontuação Consistência Testes corretos
Truques anti-IA 8.2 7.9
Programação 4.3 1.1
Combinado 10.0 10.0
Análise e extração de dados 10.0 10.0
Específico do domínio 5.3 10.0
Inteligência geral 3.9 2.6
Seguimento de instruções 7.3 6.0
Resolução de quebra-cabeças 7.7 10.0
Chamada de ferramentas 3.0 10.0
Conhecimentos gerais 3.0 10.0

Modelos comparados