Grok 4.20 lidera na pontuação média com 3.4 vs 2.4. GPT-6 Luna Decisions (default) tem menor custo de benchmark com $0.005 vs $0.057. GPT-6 Luna Decisions (default) é mais rápido com 495ms vs 1.11s, com taxas de acerto de 13.0% vs 26.1%.
Benchmarks gerados a partir das suítes de teste do AI BENCHY em:
2026-10-07
Modelos comparados
Posição
#390
Total de tokens de saída
0
Tempo de resposta (médio)
495ms
Custo total
$0.005
Posição
#376
Total de tokens de saída
1,923
Tempo de resposta (médio)
1.11s
Custo total
$0.057
Modelo recomendadoGrok 4.20
Tem a pontuação mais forte nesta comparação (3.4) e o melhor equilíbrio geral entre custo e tempo de resposta entre os 2 modelos.
Comparação detalhada
Métrica
GPT-6 Luna DecisionsGPT-6 Luna Decisionsdefault36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.Lançamento: 2026-10-07
Grok 4.20Grok 4.20none54/69 tentativas (Meta: 3 repetições por teste)Lançamento: 2026-03-31
Métrica
GPT-6 Luna DecisionsGPT-6 Luna Decisionsdefault36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.Lançamento: 2026-10-07
Grok 4.20Grok 4.20none54/69 tentativas (Meta: 3 repetições por teste)Lançamento: 2026-03-31
Pontuação
2.4Pontuação média em todos os testes de benchmark.…
3.4Pontuação média em todos os testes de benchmark.…
Posição
#390
#376
Confiabilidade
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
N/DPontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
Consistência
5.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
7.8A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
Tentativas
36/69
54/69
Testes corretos
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 8Não seguiu as instruções: 1Tempo de resposta (médio)495msTempo de resposta (máx.)842msTempo de resposta (total)5.94sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 10Formatação extra: 1Chamada de ferramenta inválida: 1Tempo de resposta (médio)1.11sTempo de resposta (máx.)6.04sTempo de resposta (total)19.96sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Taxa de acerto por tentativa
13.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
26.1%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
Testes instáveis
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Execuções totais
36Execuções totais…
54Execuções totais…
Custo por resultado
0.159
1.570
Custo total
$0.005
$0.057
Preço de entrada
$0.100 / 1MPreço de entrada…
$1.250 / 1MPreço de entrada…
Preço de saída
$0.000 / 1MPreço de saída…
$2.500 / 1MPreço de saída…
Preço de leitura do cache
$0.000 / 1MPreço de leitura do cache…
$0.200 / 1MPreço de leitura do cache…
Preço de escrita no cache
$0.000 / 1MPreço de escrita no cache…
N/DPreço de escrita no cache…
Total de tokens de entrada
47,583Total de tokens de entrada…
41,313Total de tokens de entrada…
Tokens de saída
0Tokens de saída…
1,923Tokens de saída…
Tokens de raciocínio
0Tokens de raciocínio…
0Tokens de raciocínio…
Tempo de resposta (médio)
495msTempo de resposta (médio)…
1.11sTempo de resposta (médio)…
Tempo de resposta (máx.)
842msTempo de resposta (máx.)…
6.04sTempo de resposta (máx.)…
Tempo de resposta (total)
5.94sTempo de resposta (total)…
19.96sTempo de resposta (total)…
Parâmetros
~400B no total (~17B ativos)
~1T no total (~100B ativos)
Disponibilidade
Código fechado
Código fechado
Os preços de cache aplicam-se aos tokens de entrada. A leitura reutiliza prompts em cache; a escrita armazena-os e pode custar mais. Os tokens de saída usam o preço de saída.
Geração showcase de modelos
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#390 GPT-6 Luna Decisions
default
Nenhum resultado showcase foi gerado para este modelo ainda.
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.3Pontuação média em todos os testes de benchmark.…
7.5A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)436msTempo de resposta (máx.)476msTempo de resposta (total)1.31sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.8Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
25.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)501msTempo de resposta (máx.)839msTempo de resposta (total)2.01sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.5Pontuação média em todos os testes de benchmark.…
6.7A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)447msTempo de resposta (máx.)454msTempo de resposta (total)894msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.1Pontuação média em todos os testes de benchmark.…
3.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)1.22sTempo de resposta (máx.)1.22sTempo de resposta (total)1.22sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.5Pontuação média em todos os testes de benchmark.…
5.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Chamada de ferramenta inválida: 1Tempo de resposta (médio)6.04sTempo de resposta (máx.)6.04sTempo de resposta (total)6.04sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)411msTempo de resposta (máx.)431msTempo de resposta (total)822msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)522msTempo de resposta (máx.)537msTempo de resposta (total)1.04sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.3Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)554msTempo de resposta (máx.)683msTempo de resposta (total)1.66sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Formatação extra: 1Tempo de resposta (médio)687msTempo de resposta (máx.)821msTempo de resposta (total)2.06sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.8Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)659msTempo de resposta (máx.)659msTempo de resposta (total)659msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.5Pontuação média em todos os testes de benchmark.…
5.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)842msTempo de resposta (máx.)842msTempo de resposta (total)842msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.3Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)445msTempo de resposta (máx.)505msTempo de resposta (total)889msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.7Pontuação média em todos os testes de benchmark.…
3.3A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Tempo de resposta (médio)414msTempo de resposta (máx.)414msTempo de resposta (total)414msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.3Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)473msTempo de resposta (máx.)502msTempo de resposta (total)1.42sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)4.63sTempo de resposta (máx.)4.63sTempo de resposta (total)4.63sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…