A pontuação média está praticamente empatada em 4.1 vs 4.2. gpt-oss-120b tem menor custo de benchmark com $0.016 vs $0.026. Mercury 2.5 é mais rápido com 5.10s vs 28.63s, com taxas de acerto de 24.6% vs 34.8%.
Benchmarks gerados a partir das suítes de teste do AI BENCHY em:
2026-10-19
Modelos comparados
Posição
#397
Total de tokens de saída
89,958
Tempo de resposta (médio)
5.10s
Custo total
$0.026
Posição
#395
Total de tokens de saída
62,213
Tempo de resposta (médio)
28.63s
Custo total
$0.016
Modelo recomendadoMercury 2.5
Tem a melhor pontuação aqui (4.1) e responde cerca de 5.6x mais rápido que gpt-oss-120b.
gpt-oss-120bgpt-oss-120bnone60/69 tentativas (Meta: 3 repetições por teste)Lançamento: 2025-08-05
Pontuação
4.1Pontuação média em todos os testes de benchmark.…
4.2Pontuação média em todos os testes de benchmark.…
Posição
#397
#395
Confiabilidade
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
Consistência
7.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
7.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 9Erro de API: 3Não seguiu as instruções: 2Tempo de resposta (médio)28.63sTempo de resposta (máx.)140.90sTempo de resposta (total)486.69sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Taxa de acerto por tentativa
24.6%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
34.8%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
Testes instáveis
7Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
3Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Execuções totais
69Execuções totais…
60Execuções totais…
Custo por resultado
1.298
0.274
Custo total
$0.026
$0.016
Preço de entrada
$0.040 / 1MPreço de entrada…
$0.037 / 1MPreço de entrada…
Preço de saída
$0.150 / 1MPreço de saída…
$0.170 / 1MPreço de saída…
Preço de leitura do cache
$0.004 / 1MPreço de leitura do cache…
N/DPreço de leitura do cache…
Preço de escrita no cache
N/DPreço de escrita no cache…
N/DPreço de escrita no cache…
Total de tokens de entrada
311,488Total de tokens de entrada…
131,652Total de tokens de entrada…
Tokens de saída
89,958Tokens de saída…
16,869Tokens de saída…
Tokens de raciocínio
0Tokens de raciocínio…
53,081Tokens de raciocínio…
Tempo de resposta (médio)
5.10sTempo de resposta (médio)…
28.63sTempo de resposta (médio)…
Tempo de resposta (máx.)
63.41sTempo de resposta (máx.)…
140.90sTempo de resposta (máx.)…
Tempo de resposta (total)
117.24sTempo de resposta (total)…
486.69sTempo de resposta (total)…
Parâmetros
~100B
117B no total (5.1B ativos)
Disponibilidade
Código fechado
Código aberto
Os preços de cache aplicam-se aos tokens de entrada. A leitura reutiliza prompts em cache; a escrita armazena-os e pode custar mais. Os tokens de saída usam o preço de saída.
Geração showcase de modelos
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#397 Mercury 2.5
none
Custo
$0.001
Tempo
2.7s
Tokens
2,749 tok
#395 gpt-oss-120b
none
Nenhum resultado showcase foi gerado para este modelo ainda.
5.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)63.41sTempo de resposta (máx.)63.41sTempo de resposta (total)63.41sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.1Pontuação média em todos os testes de benchmark.…
3.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)140.90sTempo de resposta (máx.)140.90sTempo de resposta (total)140.90sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.8Pontuação média em todos os testes de benchmark.…
8.3A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
16.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Não seguiu as instruções: 1Tempo de resposta (médio)469msTempo de resposta (máx.)701msTempo de resposta (total)1.87sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Resposta incorreta: 1Tempo de resposta (médio)32.84sTempo de resposta (máx.)113.71sTempo de resposta (total)131.35sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.7Pontuação média em todos os testes de benchmark.…
7.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
22.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Não seguiu as instruções: 1Tempo de resposta (médio)12.50sTempo de resposta (máx.)36.48sTempo de resposta (total)37.51sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.5Pontuação média em todos os testes de benchmark.…
0.4A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
22.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)9.57sTempo de resposta (máx.)9.57sTempo de resposta (total)9.57sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Chamada de ferramenta inválida: 1Resposta incorreta: 1Tempo de resposta (médio)3.24sTempo de resposta (máx.)4.73sTempo de resposta (total)6.49sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.5Pontuação média em todos os testes de benchmark.…
5.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.8Pontuação média em todos os testes de benchmark.…
1.7A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 1Não seguiu as instruções: 1Tempo de resposta (médio)885msTempo de resposta (máx.)997msTempo de resposta (total)1.77sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)7.12sTempo de resposta (máx.)7.12sTempo de resposta (total)7.12sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.3Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
44.4%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)533msTempo de resposta (máx.)616msTempo de resposta (total)1.60sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)34.98sTempo de resposta (máx.)68.97sTempo de resposta (total)104.94sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.3Pontuação média em todos os testes de benchmark.…
9.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)438msTempo de resposta (máx.)438msTempo de resposta (total)438msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.8Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)10.79sTempo de resposta (máx.)10.79sTempo de resposta (total)10.79sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.9Pontuação média em todos os testes de benchmark.…
6.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Resposta incorreta: 1Tempo de resposta (médio)493msTempo de resposta (máx.)528msTempo de resposta (total)986msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.8Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)5.06sTempo de resposta (máx.)5.85sTempo de resposta (total)10.12sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.7Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
22.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)515msTempo de resposta (máx.)592msTempo de resposta (total)1.55sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.0Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
55.6%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Resposta incorreta: 1Tempo de resposta (médio)8.21sTempo de resposta (máx.)11.82sTempo de resposta (total)24.62sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)1.23sTempo de resposta (máx.)1.23sTempo de resposta (total)1.23sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)384msTempo de resposta (máx.)384msTempo de resposta (total)384msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)47.29sTempo de resposta (máx.)47.29sTempo de resposta (total)47.29sUm teste é totalmente aprovado apenas quando todas as execuções passam.…