AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs xAI: Grok 4.20

Resumo

Grok 4.20 (medium) lidera na pontuação média com 7.3 vs 7.2. Claude Opus 4.8 tem menor custo de benchmark com $0.539 vs $0.609. Claude Opus 4.8 é mais rápido com 3.48s vs 27.68s, com taxas de acerto de 61.9% vs 63.5%.

Modelo recomendadoClaude Opus 4.8A pontuação fica perto da melhor aqui (7.2 vs 7.3) e responde cerca de 8.0x mais rápido que Grok 4.20 (medium).

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-07-14

Métrica	Claude Opus 4.8 Claude Opus 4.8 none Lançamento: 2026-05-28	Grok 4.20 Grok 4.20 medium Lançamento: 2026-03-31

Métrica	Claude Opus 4.8 Claude Opus 4.8 none Lançamento: 2026-05-28	Grok 4.20 Grok 4.20 medium Lançamento: 2026-03-31
Pontuação	7.2	7.3
Posição	#73	#69
Confiabilidade	10.0	10.0
Consistência	9.2	8.8
Testes corretos
Taxa de acerto por tentativa	61.9%	63.5%
Testes instáveis	2	3
Execuções totais	63	63
Custo por resultado	4.485	8.309
Custo total	$0.539	$0.609
Preço de entrada	$5.000 / 1M	$1.250 / 1M
Preço de saída	$25.000 / 1M	$2.500 / 1M
Total de tokens de entrada	67,104	44,433
Tokens de saída	8,107	1,819
Tokens de raciocínio	0	219,524
Tempo de resposta (médio)	3.48s	27.68s
Tempo de resposta (máx.)	17.73s	199.66s
Tempo de resposta (total)	73.00s	581.26s

Geração showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#73 Claude Opus 4.8

none

Custo: $0.053
Tempo: 22.0s
Tokens: 2,253 tok

#69 xAI: Grok 4.20

medium

Custo: $0.041
Tempo: 110.3s
Tokens: 16,336 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Categoria:

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Grok 4.20	8.2	7.9	83.3%	1		3.95s	2,010	287	8,312

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Grok 4.20	6.3	6.6	55.6%	1		109.93s	8,307	268	103,150

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	9.5	10.0	100.0%	0		17.73s	29,658	3,259	0
Grok 4.20	10.0	10.0	100.0%	0		17.40s	12,909	232	9,556

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Grok 4.20	10.0	10.0	100.0%	0		4.17s	7,761	180	5,333

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	5.3	7.2	44.4%	1		1.70s	975	61	0
Grok 4.20	5.3	10.0	33.3%	0		27.03s	1,764	375	49,339

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Grok 4.20	3.9	2.6	33.3%	1		24.48s	825	65	6,440

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Grok 4.20	9.8	10.0	100.0%	0		4.26s	1,362	57	6,419

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Grok 4.20	7.7	10.0	66.7%	0		6.22s	1,689	149	7,913

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Grok 4.20	3.0	10.0	0.0%	0		13.68s	7,275	197	6,620

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Grok 4.20	3.0	10.0	0.0%	0		63.48s	531	9	16,442

Comparação rápida

Trocar par de comparação

Gemini 3 Flash PreviewlowvsGrok 4.20medium Claude Sonnet 4.6nonevsGrok 4.20medium Claude Opus 4.8nonevsGemma 4 26B A4BmediumDisponível grátis Claude Opus 4.8nonevsStep 3.7 Flashhigh Claude Opus 4.8nonevsGLM 5.1medium Claude Opus 4.8nonevsGemini 3 Flash Previewlow GPT-5.3 ChatnonevsGrok 4.20medium DeepSeek V4 PrononevsGrok 4.20medium Claude Opus 4.8nonevsLaguna XS 2.1mediumDisponível grátis Qwen3.7 PlusnonevsGrok 4.20medium Claude Opus 4.8nonevsMiMo-V2.5-Promedium Claude Opus 4.8nonevsSeed-2.0-Minimedium