Mammoth 1 (default) vs Pplx Decider Flash V1.3 (default)
Mammoth 1 (default) lidera na pontuação média com 2.2 vs 2.0. O custo de benchmark está praticamente empatado em $0.000 vs $0.000. Pplx Decider Flash V1.3 (default) é mais rápido com 628ms vs 1.80s, com taxas de acerto de 18.8% vs 13.0%.
Benchmarks gerados a partir das suítes de teste do AI BENCHY em:
2026-11-16
Modelos comparados
Posição
#497
Total de tokens de saída
54
Tempo de resposta (médio)
1.80s
Custo total
$0.000
Posição
#500
Total de tokens de saída
69
Tempo de resposta (médio)
628ms
Custo total
$0.000
Modelo recomendadoMammoth 1 (default)
Tem a pontuação mais alta nesta comparação (2.2) e o melhor equilíbrio geral entre custo e tempo de resposta entre os 2 modelos.
Comparação detalhada
Métrica
Mammoth 1Mammoth 1default36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.Lançamento: 2026-10-24Disponível grátis
Pplx Decider Flash V1.3Pplx Decider Flash V1.3default36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.Lançamento: 2026-11-16Disponível grátis
Métrica
Mammoth 1Mammoth 1default36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.Lançamento: 2026-10-24Disponível grátis
Pplx Decider Flash V1.3Pplx Decider Flash V1.3default36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.Lançamento: 2026-11-16Disponível grátis
Pontuação
2.2Pontuação média em todos os testes de benchmark.…
2.0Pontuação média em todos os testes de benchmark.…
Posição
#497
#500
Confiabilidade
8.9Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
Consistência
4.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
5.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
Tentativas
36/69
36/69
Testes corretos
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 6Erro de API: 2Não seguiu as instruções: 1Tempo de resposta (médio)1.80sTempo de resposta (máx.)8.17sTempo de resposta (total)21.63sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 9Tempo de resposta (médio)628msTempo de resposta (máx.)953msTempo de resposta (total)7.54sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Taxa de acerto por tentativa
18.8%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
13.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
Testes instáveis
3Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Execuções totais
36Execuções totais…
36Execuções totais…
Custo por resultado
0.000
0.000
Custo total
$0.000
$0.000
Preço de entrada
$0.000 / 1MPreço de entrada…
$0.000 / 1MPreço de entrada…
Preço de saída
$0.000 / 1MPreço de saída…
$0.000 / 1MPreço de saída…
Preço de leitura do cache
N/DPreço de leitura do cache…
N/DPreço de leitura do cache…
Preço de escrita no cache
N/DPreço de escrita no cache…
N/DPreço de escrita no cache…
Total de tokens de entrada
45,468Total de tokens de entrada…
48,576Total de tokens de entrada…
Tokens de saída
54Tokens de saída…
69Tokens de saída…
Tokens de raciocínio
0Tokens de raciocínio…
0Tokens de raciocínio…
Tempo de resposta (médio)
1.80sTempo de resposta (médio)…
628msTempo de resposta (médio)…
Tempo de resposta (máx.)
8.17sTempo de resposta (máx.)…
953msTempo de resposta (máx.)…
Tempo de resposta (total)
21.63sTempo de resposta (total)…
7.54sTempo de resposta (total)…
Parâmetros
27B
4B
Disponibilidade
Código aberto
Pesos disponíveis
Os preços de cache aplicam-se aos tokens de entrada. A leitura reutiliza prompts em cache; a escrita armazena-os e pode custar mais. Os tokens de saída usam o preço de saída.
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.0Pontuação média em todos os testes de benchmark.…
7.5A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
25.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)530msTempo de resposta (máx.)662msTempo de resposta (total)1.59sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.0Pontuação média em todos os testes de benchmark.…
7.5A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
25.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)676msTempo de resposta (máx.)953msTempo de resposta (total)2.03sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.9Pontuação média em todos os testes de benchmark.…
6.7A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)951msTempo de resposta (máx.)1.17sTempo de resposta (total)1.90sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.5Pontuação média em todos os testes de benchmark.…
6.7A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)722msTempo de resposta (máx.)879msTempo de resposta (total)1.44sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.7Pontuação média em todos os testes de benchmark.…
1.7A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 2Tempo de resposta (médio)6.10sTempo de resposta (máx.)8.17sTempo de resposta (total)12.20sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)561msTempo de resposta (máx.)580msTempo de resposta (total)1.12sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.3Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)531msTempo de resposta (máx.)714msTempo de resposta (total)1.59sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.3Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)465msTempo de resposta (máx.)927msTempo de resposta (total)1.39sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.5Pontuação média em todos os testes de benchmark.…
5.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)4.04sTempo de resposta (máx.)4.04sTempo de resposta (total)4.04sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.5Pontuação média em todos os testes de benchmark.…
5.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)882msTempo de resposta (máx.)882msTempo de resposta (total)882msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.6Pontuação média em todos os testes de benchmark.…
1.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
11.1%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Tempo de resposta (médio)298msTempo de resposta (máx.)298msTempo de resposta (total)298msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
1.0Pontuação média em todos os testes de benchmark.…
3.3A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)670msTempo de resposta (máx.)670msTempo de resposta (total)670msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
0.0Pontuação média em todos os testes de benchmark.…
0.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)0msTempo de resposta (máx.)0msTempo de resposta (total)0msUm teste é totalmente aprovado apenas quando todas as execuções passam.…