A pontuação média está praticamente empatada em 5.1 vs 5.1. North Mini Code tem menor custo de benchmark com $0.000 vs $0.011. Mercury 2.5 (low) é mais rápido com 1.35s vs 29.95s, com taxas de acerto de 18.2% vs 39.4%.
Benchmarks gerados a partir das suítes de teste do AI BENCHY em:
2026-09-08
Modelos comparados
Posição
#269
Total de tokens de saída
26,786
Tempo de resposta (médio)
29.95s
Custo total
$0.000
Posição
#265
Total de tokens de saída
33,719
Tempo de resposta (médio)
1.35s
Custo total
$0.011
Modelo recomendadoMercury 2.5 (low)
Tem a melhor pontuação aqui (5.1) e responde cerca de 22.2x mais rápido que North Mini Code.
Comparação detalhada
Métrica
North Mini CodeNorth Mini Codenone60/66 tentativas (Meta: 3 repetições por teste)Lançamento: 2026-06-18Disponível grátis
5.1Pontuação média em todos os testes de benchmark.…
5.1Pontuação média em todos os testes de benchmark.…
Posição
#269
#265
Confiabilidade
8.7Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
9.8Pontuação de sucesso na primeira tentativa: 10.0 significa nenhum erro reexecutável da API alvo ou de limite de taxa antes de chamadas bem-sucedidas; falhas registradas reduzem a pontuação.…
Consistência
9.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
8.1A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 14Erro de API: 1Sem resposta: 1Tempo de resposta (médio)1.35sTempo de resposta (máx.)7.48sTempo de resposta (total)29.74sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
Taxa de acerto por tentativa
18.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
39.4%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
Testes instáveis
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
5Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Execuções totais
60Execuções totais…
66Execuções totais…
Custo por resultado
0.000
0.177
Custo total
$0.000
$0.011
Preço de entrada
$0.000 / 1MPreço de entrada…
$0.040 / 1MPreço de entrada…
Preço de saída
$0.000 / 1MPreço de saída…
$0.150 / 1MPreço de saída…
Total de tokens de entrada
130,501Total de tokens de entrada…
138,020Total de tokens de entrada…
Tokens de saída
26,786Tokens de saída…
6,083Tokens de saída…
Tokens de raciocínio
0Tokens de raciocínio…
27,636Tokens de raciocínio…
Tempo de resposta (médio)
29.95sTempo de resposta (médio)…
1.35sTempo de resposta (médio)…
Tempo de resposta (máx.)
159.85sTempo de resposta (máx.)…
7.48sTempo de resposta (máx.)…
Tempo de resposta (total)
658.83sTempo de resposta (total)…
29.74sTempo de resposta (total)…
Parâmetros
30B no total (3B ativos)
~100B
Disponibilidade
Código aberto
Código fechado
Geração showcase de modelos
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Formatação extra: 2Resposta incorreta: 2Tempo de resposta (médio)22.48sTempo de resposta (máx.)51.34sTempo de resposta (total)89.90sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.9Pontuação média em todos os testes de benchmark.…
7.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)799msTempo de resposta (máx.)1.05sTempo de resposta (total)3.20sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.9Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)21.96sTempo de resposta (máx.)44.81sTempo de resposta (total)65.89sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
33.3%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)972msTempo de resposta (máx.)1.03sTempo de resposta (total)2.92sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.2Pontuação média em todos os testes de benchmark.…
9.3A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Chamada de ferramenta inválida: 2Tempo de resposta (médio)96.20sTempo de resposta (máx.)159.85sTempo de resposta (total)192.40sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem resposta: 1Resposta incorreta: 1Tempo de resposta (médio)5.16sTempo de resposta (máx.)7.48sTempo de resposta (total)10.32sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
10.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)28.00sTempo de resposta (máx.)42.87sTempo de resposta (total)55.99sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)1.06sTempo de resposta (máx.)1.10sTempo de resposta (total)2.13sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)14.73sTempo de resposta (máx.)32.97sTempo de resposta (total)44.20sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.6Pontuação média em todos os testes de benchmark.…
7.2A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
22.2%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 3Tempo de resposta (médio)846msTempo de resposta (máx.)1.03sTempo de resposta (total)2.54sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.9Pontuação média em todos os testes de benchmark.…
9.6A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)34.77sTempo de resposta (máx.)34.77sTempo de resposta (total)34.77sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
4.4Pontuação média em todos os testes de benchmark.…
9.9A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)819msTempo de resposta (máx.)819msTempo de resposta (total)819msUm teste é totalmente aprovado apenas quando todas as execuções passam.…
6.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
50.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)30.68sTempo de resposta (máx.)37.37sTempo de resposta (total)61.35sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
2.9Pontuação média em todos os testes de benchmark.…
6.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
16.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
1Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Erro de API: 1Resposta incorreta: 1Tempo de resposta (médio)972msTempo de resposta (máx.)1.26sTempo de resposta (total)1.94sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Não seguiu as instruções: 2Resposta incorreta: 1Tempo de resposta (médio)24.43sTempo de resposta (máx.)48.56sTempo de resposta (total)73.30sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
5.9Pontuação média em todos os testes de benchmark.…
4.5A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
66.7%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
2Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 2Tempo de resposta (médio)792msTempo de resposta (máx.)829msTempo de resposta (total)2.38sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.5Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)3.64sTempo de resposta (máx.)3.64sTempo de resposta (total)3.64sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
9.8Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
100.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Sem respostas com falha.Tempo de resposta (médio)2.72sTempo de resposta (máx.)2.72sTempo de resposta (total)2.72sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)37.37sTempo de resposta (máx.)37.37sTempo de resposta (total)37.37sUm teste é totalmente aprovado apenas quando todas as execuções passam.…
3.0Pontuação média em todos os testes de benchmark.…
10.0A consistência reflete a estabilidade entre execuções (10 = muito consistente, mesmo que consistentemente errado).…
0.0%Taxa de acerto por tentativa = tentativas aprovadas / tentativas totais em todas as execuções.…
0Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).…
Um teste é totalmente aprovado apenas quando todas as execuções passam.Resposta incorreta: 1Tempo de resposta (médio)782msTempo de resposta (máx.)782msTempo de resposta (total)782msUm teste é totalmente aprovado apenas quando todas as execuções passam.…