Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-09-02 Modelos avaliados: 311

Modelos recomendados

GPT-5.6 Sol high Inteligente Taxa de acerto por tentativa 89.4% Testes corretos 18 / 22 Pontuação 9.4/10 GPT-5.6 Luna medium Rápido Tempo de resposta (médio) 7.43s Total de tokens de saída 44,525 Pontuação 7.4/10 DeepSeek V4 Flash 0731 high Acessível Preço de entrada $0.065 / 1M Preço de saída $0.180 / 1M Pontuação 8.0/10

311/311

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#211#211	North Mini Codemedium	5.7	Cohere	$0.000	141.99s
Ver cartão do modelo Total de testes 22 Testes errados 14 Confiabilidade 8.5 Taxa de acerto por tentativa 43.9% Testes instáveis 4 Tokens de entrada 81,742 Tokens de saída 423,884 Tokens de raciocínio 1,340,907 Tempo de resposta (médio) 141.99s Tempo de resposta (total) 3123.87s Tempo de resposta (máx.) 786.72s Resposta incorreta: 9 Formatação extra: 2 Erro de API: 1 Chamada de ferramenta inválida: 1 Tempo esgotado: 1 Truques anti-IA : 8.4 Programação : 4.5 Combinado : 2.9 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 5.1 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 3.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#66#66	Kimi K3max	7.9	Moonshot AI	$3.467	142.84s
Ver cartão do modelo Total de testes 22 Testes errados 6 Confiabilidade 9.0 Taxa de acerto por tentativa 77.3% Testes instáveis 2 Tokens de entrada 34,960 Tokens de saída 2,887 Tokens de raciocínio 221,241 Tempo de resposta (médio) 142.84s Tempo de resposta (total) 2714.02s Tempo de resposta (máx.) 766.58s Erro de API: 2 Sem resposta: 2 Formatação extra: 1 Tempo esgotado: 1 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 6.5 Análise e extração de dados : 7.3 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#104#104	LongCat 2.0medium	7.4	Meituan	$0.499	143.55s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 59.1% Testes instáveis 2 Tokens de entrada 97,324 Tokens de saída 44,383 Tokens de raciocínio 346,490 Tempo de resposta (médio) 143.55s Tempo de resposta (total) 3158.11s Tempo de resposta (máx.) 939.52s Resposta incorreta: 7 Erro de API: 1 Sem resposta: 1 Tempo esgotado: 1 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 7.3 Análise e extração de dados : 6.3 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#155#155	LongCat 2.0high	6.7	Meituan	$0.492	153.29s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 51.5% Testes instáveis 4 Tokens de entrada 93,411 Tokens de saída 30,470 Tokens de raciocínio 356,172 Tempo de resposta (médio) 153.29s Tempo de resposta (total) 3372.36s Tempo de resposta (máx.) 941.66s Resposta incorreta: 7 Não seguiu as instruções: 2 Sem resposta: 2 Tempo esgotado: 2 Truques anti-IA : 8.9 Programação : 7.8 Combinado : 10.0 Análise e extração de dados : 3.6 Específico do domínio : 3.6 Inteligência geral : 5.1 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#18#18	Seed 2.1 Turbolow	9.1	Bytedance Seed	$1.546	163.90s
Ver cartão do modelo Total de testes 22 Testes errados 5 Confiabilidade 10.0 Taxa de acerto por tentativa 80.3% Testes instáveis 2 Tokens de entrada 104,464 Tokens de saída 6,844 Tokens de raciocínio 590,392 Tempo de resposta (médio) 163.90s Tempo de resposta (total) 3605.87s Tempo de resposta (máx.) 739.98s Resposta incorreta: 3 Sem resposta: 2 Truques anti-IA : 8.2 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#49#49	Qwen3.8 27Bhigh	8.4	Qwen	~$0.287	167.89s
Ver cartão do modelo Total de testes 22 Testes errados 6 Confiabilidade 9.6 Taxa de acerto por tentativa 77.3% Testes instáveis 2 Tokens de entrada 100,179 Tokens de saída 904 Tokens de raciocínio 655,731 Tempo de resposta (médio) 167.89s Tempo de resposta (total) 3693.54s Tempo de resposta (máx.) 640.85s Não seguiu as instruções: 2 Sem resposta: 2 Resposta incorreta: 2 Truques anti-IA : 10.0 Programação : 8.1 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 7.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#29#29	Seed 2.1 Turbohigh	8.9	Bytedance Seed	$1.797	173.96s
Ver cartão do modelo Total de testes 22 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 78.8% Testes instáveis 3 Tokens de entrada 104,695 Tokens de saída 6,645 Tokens de raciocínio 691,086 Tempo de resposta (médio) 173.96s Tempo de resposta (total) 3827.19s Tempo de resposta (máx.) 584.71s Resposta incorreta: 4 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 8.2 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 6.5 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#202#202	Step 3.5 Flashmedium	5.9	Stepfun	$0.132 ↑	191.63s
Ver cartão do modelo Total de testes 21 Testes errados 11 Confiabilidade 10.0 Taxa de acerto por tentativa 50.0% Testes instáveis 2 Tokens de entrada 65,716 Tokens de saída 189,424 Tokens de raciocínio 379,112 Tempo de resposta (médio) 191.63s Tempo de resposta (total) 3066.07s Tempo de resposta (máx.) 1597.85s Resposta incorreta: 5 Não seguiu as instruções: 3 Erro de API: 1 Sem resposta: 1 Tempo esgotado: 1 Truques anti-IA : 10.0 Programação : 2.4 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 3.5 Inteligência geral : 5.5 Seguimento de instruções : 8.3 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#50#50	Seed 2.1 Turbomedium	8.4	Bytedance Seed	$1.951	193.59s
Ver cartão do modelo Total de testes 22 Testes errados 7 Confiabilidade 10.0 Taxa de acerto por tentativa 78.8% Testes instáveis 5 Tokens de entrada 104,433 Tokens de saída 6,511 Tokens de raciocínio 752,680 Tempo de resposta (médio) 193.59s Tempo de resposta (total) 4258.98s Tempo de resposta (máx.) 885.33s Resposta incorreta: 5 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 8.2 Programação : 8.2 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 6.1 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 9.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#228#228	Hy4 previewlow	5.6	Tencent	$1.745	214.25s
Ver cartão do modelo Total de testes 22 Testes errados 19 Confiabilidade 5.4 Taxa de acerto por tentativa 19.7% Testes instáveis 3 Tokens de entrada 45,154 Tokens de saída 4,022 Tokens de raciocínio 678,516 Tempo de resposta (médio) 214.25s Tempo de resposta (total) 4713.56s Tempo de resposta (máx.) 597.45s Erro de API: 14 Resposta incorreta: 3 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 6.0 Programação : 5.2 Combinado : 2.9 Análise e extração de dados : 8.7 Específico do domínio : 4.5 Inteligência geral : 7.5 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#282#282	Granite 4.2 8Bhigh	4.6	IBM Granite	$0.084	235.89s
Ver cartão do modelo Total de testes 22 Testes errados 18 Confiabilidade 7.6 Taxa de acerto por tentativa 39.4% Testes instáveis 10 Tokens de entrada 43,278 Tokens de saída 181,083 Tokens de raciocínio 431,132 Tempo de resposta (médio) 235.89s Tempo de resposta (total) 5189.64s Tempo de resposta (máx.) 685.87s Tempo esgotado: 10 Resposta incorreta: 6 Chamada de ferramenta inválida: 1 Sem resposta: 1 Truques anti-IA : 6.9 Programação : 3.8 Combinado : 5.0 Análise e extração de dados : 3.8 Específico do domínio : 2.9 Inteligência geral : 5.5 Seguimento de instruções : 6.4 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0

←

1 12 13

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium