Comparação benchmark Claude Opus 4.6 (medium) vs Claude Sonnet 4.6 (medium) vs GPT-5.3-Codex (medium) vs Gemini 3.1 Pro Preview (medium):GPT-5.3-Codex (medium) lidera em Pontuação com 9.1. Claude Opus 4.6 (medium) lidera em Confiabilidade com 10.0. GPT-5.3-Codex (medium) tem o menor Custo total em $1.318. GPT-5.3-Codex (medium) é o mais rápido com 18.87s.
Benchmarks gerados a partir das suítes de teste do AI BENCHY em:
2026-10-06
Modelos comparados
Posição
#228
Total de tokens de saída
96,722
Tempo de resposta (médio)
32.23s
Custo total
$2.961
Posição
#212
Total de tokens de saída
120,427
Tempo de resposta (médio)
28.08s
Custo total
$2.126
Posição
#34
Total de tokens de saída
66,287
Tempo de resposta (médio)
18.87s
Custo total
$1.318
Posição
#71
Total de tokens de saída
102,691
Tempo de resposta (médio)
22.71s
Custo total
$1.585
Modelo recomendadoGPT-5.3-Codex (medium)
Tem a melhor pontuação aqui (9.1) e custa cerca de 1.7x menos que os outros modelos nesta comparação.
Comparação detalhada
Métrica
Claude Opus 4.6Claude Opus 4.6mediumModelo arquivado: este modelo não é mais atualizado nem testado em novos testes.Lançamento: 2026-02-05
Claude Sonnet 4.6Claude Sonnet 4.6mediumModelo arquivado: este modelo não é mais atualizado nem testado em novos testes.Lançamento: 2026-02-17
6.3Pontuação média em todos os testes de benchmark.…
6.4Pontuação média em todos os testes de benchmark.…
9.1Pontuação média em todos os testes de benchmark.…
8.4Pontuação média em todos os testes de benchmark.…
Posição
#228
#212
#34
#71
Confiabilidade
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
9.8Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
Consistência
8.5A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
9.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
8.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
9.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
Tentativas
66/69
66/69
69/69
69/69
Testes corretos
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 4Resposta incorreta: 4Não seguiu as instruções: 1Tempo de resposta (médio)32.23sTempo de resposta (máx.)151.51sTempo de resposta (total)515.65sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 4Formatação extra: 3Tempo esgotado: 1Tempo de resposta (médio)28.08sTempo de resposta (máx.)140.96sTempo de resposta (total)421.15sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 4Não seguiu as instruções: 2Tempo de resposta (médio)18.87sTempo de resposta (máx.)100.93sTempo de resposta (total)433.94sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo esgotado: 1Tempo de resposta (médio)22.71sTempo de resposta (máx.)88.68sTempo de resposta (total)386.11sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Taxa de acerto por tentativa
60.9%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
62.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
84.1%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
89.9%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
Testes instáveis
3Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
4Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Execuções totais
66Execuções totais…
66Execuções totais…
69Execuções totais…
69Execuções totais…
Custo por resultado
22.777
15.182
7.753
7.924
Custo total
$2.961
$2.126
$1.318
$1.585
Preço de entrada
$5.000 / 1MPreço de entrada…
$3.000 / 1MPreço de entrada…
$1.750 / 1MPreço de entrada…
$2.000 / 1MPreço de entrada…
Preço de saída
$25.000 / 1MPreço de saída…
$15.000 / 1MPreço de saída…
$14.000 / 1MPreço de saída…
$12.000 / 1MPreço de saída…
Preço de leitura do cache
$0.500 / 1MPreço de leitura do cache…
$0.300 / 1MPreço de leitura do cache…
$0.175 / 1MPreço de leitura do cache…
$0.200 / 1MPreço de leitura do cache…
Preço de escrita no cache
$6.250 / 1MPreço de escrita no cache…
$3.750 / 1MPreço de escrita no cache…
N/DPreço de escrita no cache…
$0.375 / 1MPreço de escrita no cache…
Total de tokens de entrada
108,573Total de tokens de entrada…
106,316Total de tokens de entrada…
222,794Total de tokens de entrada…
176,208Total de tokens de entrada…
Tokens de saída
69,994Tokens de saída…
79,338Tokens de saída…
7,357Tokens de saída…
6,093Tokens de saída…
Tokens de raciocínio
26,728Tokens de raciocínio…
41,089Tokens de raciocínio…
58,930Tokens de raciocínio…
96,598Tokens de raciocínio…
Tempo de resposta (médio)
32.23sTempo de resposta (médio)…
28.08sTempo de resposta (médio)…
18.87sTempo de resposta (médio)…
22.71sTempo de resposta (médio)…
Tempo de resposta (máx.)
151.51sTempo de resposta (máx.)…
140.96sTempo de resposta (máx.)…
100.93sTempo de resposta (máx.)…
88.68sTempo de resposta (máx.)…
Tempo de resposta (total)
515.65sTempo de resposta (total)…
421.15sTempo de resposta (total)…
433.94sTempo de resposta (total)…
386.11sTempo de resposta (total)…
Parâmetros
~5T no total (~500B ativos)
~1T no total (~100B ativos)
~1.2T no total (~80B ativos)
~1.2T no total (~20B ativos)
Disponibilidade
Código fechado
Código fechado
Código fechado
Código fechado
Os preços de cache aplicam-se aos tokens de entrada. A leitura reutiliza prompts em cache; a escrita armazena-os e pode custar mais. Os tokens de saída usam o preço de saída.
Geração showcase de modelos
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#228 Claude Opus 4.6
medium
Reached the allocated time limit (300 seconds) without receiving showcase output.
Custo
$0.000
Tempo
300.0s
Tokens
0 tok
#212 Claude Sonnet 4.6
medium
Reached the allocated time limit (300 seconds) without receiving showcase output.
Custo
$0.000
Tempo
300.0s
Tokens
0 tok
#34 GPT-5.3-Codex
medium
Custo
$0.049
Tempo
54.9s
Tokens
3,580 tok
#71 Gemini 3.1 Pro Preview
medium
Custo
$0.115
Tempo
87.2s
Tokens
9,629 tok
Posição
-
Custo
-
Tempo
-
Tokens
-
Melhores modelos por pontuação
Pontuação vs custo total
Tempo de resposta (médio)
Pontuação vs Tempo de resposta (médio)
Total de tokens de saída
Pontuação vs Total de tokens de saída
Detalhamento por categoria
Tarefas de agentes
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0msTempo de resposta (médio)…
0Total de tokens de entrada…
0Tokens de saída…
0Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)61.91sTempo de resposta (máx.)61.91sTempo de resposta (total)61.91sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.7Pontuação média em todos os testes de benchmark.…
1.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Tempo esgotado: 1Tempo de resposta (médio)56.17sTempo de resposta (máx.)56.17sTempo de resposta (total)56.17sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
56.17sTempo de resposta (médio)…
83,912Total de tokens de entrada…
861Tokens de saída…
4,592Tokens de raciocínio…
Truques anti-IA
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
6.4Pontuação média em todos os testes de benchmark.…
5.8A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 2Tempo de resposta (médio)7.45sTempo de resposta (máx.)11.88sTempo de resposta (total)14.90sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.45sTempo de resposta (médio)…
840Total de tokens de entrada…
986Tokens de saída…
1,071Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 1Resposta incorreta: 1Tempo de resposta (médio)2.98sTempo de resposta (máx.)4.95sTempo de resposta (total)5.97sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
8.7Pontuação média em todos os testes de benchmark.…
7.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
91.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)4.16sTempo de resposta (máx.)6.68sTempo de resposta (total)16.63sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)7.90sTempo de resposta (máx.)9.52sTempo de resposta (total)15.80sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.90sTempo de resposta (médio)…
498Total de tokens de entrada…
112Tokens de saída…
3,218Tokens de raciocínio…
Programação
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
5.7Pontuação média em todos os testes de benchmark.…
7.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
44.4%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 1Não seguiu as instruções: 1Tempo de resposta (médio)30.10sTempo de resposta (máx.)35.63sTempo de resposta (total)90.31sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
30.10sTempo de resposta (médio)…
8,522Total de tokens de entrada…
13,057Tokens de saída…
4,121Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
5.7Pontuação média em todos os testes de benchmark.…
6.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
44.4%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 1Resposta incorreta: 1Tempo de resposta (médio)33.29sTempo de resposta (máx.)35.76sTempo de resposta (total)99.86sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)19.50sTempo de resposta (máx.)27.96sTempo de resposta (total)58.49sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.9Pontuação média em todos os testes de benchmark.…
9.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)40.17sTempo de resposta (máx.)88.68sTempo de resposta (total)120.52sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
40.17sTempo de resposta (médio)…
8,124Total de tokens de entrada…
435Tokens de saída…
41,247Tokens de raciocínio…
Combinado
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)114.08sTempo de resposta (máx.)151.51sTempo de resposta (total)228.16sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
114.08sTempo de resposta (médio)…
76,073Total de tokens de entrada…
33,018Tokens de saída…
9,509Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)93.65sTempo de resposta (máx.)140.96sTempo de resposta (total)187.31sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)26.04sTempo de resposta (máx.)32.53sTempo de resposta (total)52.08sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.8Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)40.39sTempo de resposta (máx.)40.61sTempo de resposta (total)80.77sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
40.39sTempo de resposta (médio)…
67,910Total de tokens de entrada…
3,687Tokens de saída…
23,111Tokens de raciocínio…
Análise e extração de dados
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)7.37sTempo de resposta (máx.)7.37sTempo de resposta (total)7.37sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.37sTempo de resposta (médio)…
8,676Total de tokens de entrada…
691Tokens de saída…
757Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)13.90sTempo de resposta (máx.)13.90sTempo de resposta (total)13.90sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)3.07sTempo de resposta (máx.)3.59sTempo de resposta (total)6.15sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)7.72sTempo de resposta (máx.)7.72sTempo de resposta (total)7.72sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.72sTempo de resposta (médio)…
7,265Total de tokens de entrada…
279Tokens de saída…
3,904Tokens de raciocínio…
Específico do domínio
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Formatação extra: 1Tempo de resposta (médio)42.53sTempo de resposta (máx.)83.40sTempo de resposta (total)85.06sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
42.53sTempo de resposta (médio)…
632Total de tokens de entrada…
12,350Tokens de saída…
7,100Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 1Tempo esgotado: 1Resposta incorreta: 1Tempo de resposta (médio)58.37sTempo de resposta (máx.)58.37sTempo de resposta (total)58.37sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.9Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
55.6%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)63.93sTempo de resposta (máx.)100.93sTempo de resposta (total)191.78sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.7Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)20.29sTempo de resposta (máx.)32.73sTempo de resposta (total)40.59sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
20.29sTempo de resposta (médio)…
644Total de tokens de entrada…
18Tokens de saída…
11,704Tokens de raciocínio…
Inteligência geral
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)5.04sTempo de resposta (máx.)5.04sTempo de resposta (total)5.04sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.04sTempo de resposta (médio)…
564Total de tokens de entrada…
188Tokens de saída…
292Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)4.94sTempo de resposta (máx.)4.94sTempo de resposta (total)4.94sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.6Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Tempo de resposta (médio)4.87sTempo de resposta (máx.)4.87sTempo de resposta (total)4.87sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)11.77sTempo de resposta (máx.)11.77sTempo de resposta (total)11.77sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
11.77sTempo de resposta (médio)…
490Total de tokens de entrada…
108Tokens de saída…
1,179Tokens de raciocínio…
Seguimento de instruções
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)2.43sTempo de resposta (máx.)2.43sTempo de resposta (total)2.43sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.43sTempo de resposta (médio)…
792Total de tokens de entrada…
266Tokens de saída…
467Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)2.61sTempo de resposta (máx.)2.61sTempo de resposta (total)2.61sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)3.04sTempo de resposta (máx.)3.44sTempo de resposta (total)6.07sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)9.56sTempo de resposta (máx.)9.56sTempo de resposta (total)9.56sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.56sTempo de resposta (médio)…
621Total de tokens de entrada…
72Tokens de saída…
2,236Tokens de raciocínio…
Resolução de quebra-cabeças
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
7.7Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)4.71sTempo de resposta (máx.)4.75sTempo de resposta (total)9.41sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.71sTempo de resposta (médio)…
816Total de tokens de entrada…
532Tokens de saída…
630Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)5.31sTempo de resposta (máx.)6.24sTempo de resposta (total)10.62sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.0Pontuação média em todos os testes de benchmark.…
7.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
88.9%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Tempo de resposta (médio)5.05sTempo de resposta (máx.)8.73sTempo de resposta (total)15.15sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)6.90sTempo de resposta (máx.)8.49sTempo de resposta (total)13.79sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.90sTempo de resposta (médio)…
570Total de tokens de entrada…
235Tokens de saída…
3,128Tokens de raciocínio…
Chamada de ferramentas
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)9.73sTempo de resposta (máx.)9.73sTempo de resposta (total)9.73sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.73sTempo de resposta (médio)…
11,454Total de tokens de entrada…
861Tokens de saída…
329Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)7.48sTempo de resposta (máx.)7.48sTempo de resposta (total)7.48sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)6.37sTempo de resposta (máx.)6.37sTempo de resposta (total)6.37sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)23.15sTempo de resposta (máx.)23.15sTempo de resposta (total)23.15sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
23.15sTempo de resposta (médio)…
6,018Total de tokens de entrada…
274Tokens de saída…
982Tokens de raciocínio…
Conhecimentos gerais
Pontuação
Consistência
Taxa de acerto por tentativa
Testes instáveis
Testes corretos
Tempo de resposta (médio)
Tokens de entrada
Tokens de saída
Tokens de raciocínio
Claude Opus 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)63.24sTempo de resposta (máx.)63.24sTempo de resposta (total)63.24sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
63.24sTempo de resposta (médio)…
204Total de tokens de entrada…
8,045Tokens de saída…
2,452Tokens de raciocínio…
Claude Sonnet 4.6Modelo arquivado: este modelo não é mais atualizado nem testado em novos testes.
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)30.09sTempo de resposta (máx.)30.09sTempo de resposta (total)30.09sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.8Pontuação média em todos os testes de benchmark.…
1.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)14.43sTempo de resposta (máx.)14.43sTempo de resposta (total)14.43sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)6.27sTempo de resposta (máx.)6.27sTempo de resposta (total)6.27sUm teste é totalmente aprovado apenas quando todas as execuções passam.…