A pontuação média está praticamente empatada em 5.9 vs 5.9. Dots 3 Note Preview (medium) tem menor custo de benchmark com $0.000 vs $2.792. Dots 3 Note Preview (medium) é mais rápido com 67.13s vs 98.92s, com taxas de acerto de 57.6% vs 57.6%.
Benchmarks gerados a partir das suítes de teste do AI BENCHY em:
2026-09-28
Modelos comparados
Posição
#246
Total de tokens de saída
679,539
Tempo de resposta (médio)
67.13s
Custo total
$0.000
Posição
#248
Total de tokens de saída
180,806
Tempo de resposta (médio)
98.92s
Custo total
$2.792
Modelo recomendadoEmber-1 (max)
Tem a pontuação mais forte nesta comparação (5.9) e o melhor equilíbrio geral entre custo e tempo de resposta entre os 2 modelos.
5.9Pontuação média em todos os testes de benchmark.…
5.9Pontuação média em todos os testes de benchmark.…
Posição
#246
#248
Confiabilidade
10.0Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
7.5Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
Consistência
7.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
7.7A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 8Resposta incorreta: 3Sem resposta: 1Tempo de resposta (médio)98.92sTempo de resposta (máx.)587.08sTempo de resposta (total)2176.20sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Taxa de acerto por tentativa
57.6%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
57.6%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
Testes instáveis
8Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
6Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Execuções totais
66Execuções totais…
66Execuções totais…
Custo por resultado
0.000
27.915
Custo total
$0.000
$2.792
Preço de entrada
$0.000 / 1MPreço de entrada…
$3.000 / 1MPreço de entrada…
Preço de saída
$0.000 / 1MPreço de saída…
$15.000 / 1MPreço de saída…
Total de tokens de entrada
94,639Total de tokens de entrada…
26,449Total de tokens de entrada…
Tokens de saída
108,013Tokens de saída…
4,183Tokens de saída…
Tokens de raciocínio
571,526Tokens de raciocínio…
176,623Tokens de raciocínio…
Tempo de resposta (médio)
67.13sTempo de resposta (médio)…
98.92sTempo de resposta (médio)…
Tempo de resposta (máx.)
459.19sTempo de resposta (máx.)…
587.08sTempo de resposta (máx.)…
Tempo de resposta (total)
1476.95sTempo de resposta (total)…
2176.20sTempo de resposta (total)…
Parâmetros
280B no total (16B ativos)
~2.8T no total (~104B ativos)
Disponibilidade
Código aberto
Código fechado
Geração showcase de modelos
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
8.7Pontuação média em todos os testes de benchmark.…
7.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
91.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)7.76sTempo de resposta (máx.)12.44sTempo de resposta (total)31.04sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
8.7Pontuação média em todos os testes de benchmark.…
7.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
91.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)23.74sTempo de resposta (máx.)63.86sTempo de resposta (total)94.97sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.2Pontuação média em todos os testes de benchmark.…
5.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 1Sem resposta: 1Resposta incorreta: 1Tempo de resposta (médio)309.15sTempo de resposta (máx.)459.19sTempo de resposta (total)927.45sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.2Pontuação média em todos os testes de benchmark.…
4.4A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
55.6%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 2Tempo de resposta (médio)105.09sTempo de resposta (máx.)165.67sTempo de resposta (total)315.27sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.9Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)60.81sTempo de resposta (máx.)73.47sTempo de resposta (total)121.61sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)64.37sTempo de resposta (máx.)93.11sTempo de resposta (total)128.74sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.5Pontuação média em todos os testes de benchmark.…
1.4A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem resposta: 1Resposta incorreta: 1Tempo de resposta (médio)78.47sTempo de resposta (máx.)136.10sTempo de resposta (total)156.95sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.4Pontuação média em todos os testes de benchmark.…
5.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)39.79sTempo de resposta (máx.)70.07sTempo de resposta (total)79.59sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.6Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
22.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)47.54sTempo de resposta (máx.)69.87sTempo de resposta (total)142.62sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.6Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
22.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Erro de API: 1Tempo de resposta (médio)471.21sTempo de resposta (máx.)587.08sTempo de resposta (total)1413.62sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.8Pontuação média em todos os testes de benchmark.…
9.5A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)26.20sTempo de resposta (máx.)26.20sTempo de resposta (total)26.20sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)7.04sTempo de resposta (máx.)7.04sTempo de resposta (total)7.04sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
8.5Pontuação média em todos os testes de benchmark.…
6.8A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
83.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Tempo de resposta (médio)7.77sTempo de resposta (máx.)13.01sTempo de resposta (total)15.55sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.2Pontuação média em todos os testes de benchmark.…
5.8A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)32.97sTempo de resposta (máx.)60.73sTempo de resposta (total)65.94sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.3Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
44.4%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 1Resposta incorreta: 1Tempo de resposta (médio)8.71sTempo de resposta (máx.)10.74sTempo de resposta (total)26.13sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
7.7Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)6.57sTempo de resposta (máx.)7.54sTempo de resposta (total)19.72sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)13.97sTempo de resposta (máx.)13.97sTempo de resposta (total)13.97sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Tempo de resposta (médio)26.36sTempo de resposta (máx.)26.36sTempo de resposta (total)26.36sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)15.46sTempo de resposta (máx.)15.46sTempo de resposta (total)15.46sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem resposta: 1Tempo de resposta (médio)24.95sTempo de resposta (máx.)24.95sTempo de resposta (total)24.95sUm teste é totalmente aprovado apenas quando todas as execuções passam.…