Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-09-22 Modelos avaliados: 343

Modelos recomendados

GPT-6 Astra xhigh Inteligente Taxa de acerto por tentativa 97.0% Testes corretos 21 / 22 Pontuação 9.9/10 GPT-5.6 Luna medium Rápido Tempo de resposta (médio) 7.43s Total de tokens de saída 44,525 Pontuação 7.4/10 DeepSeek V4 Flash 0731 high Acessível Preço de entrada $0.040 / 1M Preço de saída $0.640 / 1M Pontuação 8.0/10

343/343

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#258#258	Qwen3.8 27Bnone	5.5	Qwen	~$0.006	3.12s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 40.9% Testes instáveis 0 Tokens de entrada 122,463 Tokens de saída 11,445 Tokens de raciocínio 0 Tempo de resposta (médio) 3.12s Tempo de resposta (total) 68.69s Tempo de resposta (máx.) 44.76s Resposta incorreta: 11 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.5 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 7.7 Inteligência geral : 4.2 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 6.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#180#180	Claude Opus 4.7none	6.6	Anthropic	$0.505	3.02s
Ver cartão do modelo Total de testes 19 Testes errados 3 Confiabilidade 10.0 Taxa de acerto por tentativa 72.7% Testes instáveis 0 Tokens de entrada 69,576 Tokens de saída 6,265 Tokens de raciocínio 0 Tempo de resposta (médio) 3.02s Tempo de resposta (total) 57.44s Tempo de resposta (máx.) 18.27s Resposta incorreta: 3 Truques anti-IA : 8.3 Programação : 3.3 Combinado : 4.8 Análise e extração de dados : 10.0 Específico do domínio : 7.7 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#248#248	GLM 5V Turbonone	5.6	Z.ai	$0.052	2.99s
Ver cartão do modelo Total de testes 21 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 36.4% Testes instáveis 0 Tokens de entrada 37,100 Tokens de saída 1,766 Tokens de raciocínio 0 Tempo de resposta (médio) 2.99s Tempo de resposta (total) 62.74s Tempo de resposta (máx.) 6.51s Resposta incorreta: 11 Não seguiu as instruções: 2 Truques anti-IA : 4.8 Programação : 5.5 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.6 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#306#306	Trinity Large Previewnone	4.8	Arcee AI	$0.008 ↑	2.98s
Ver cartão do modelo Total de testes 21 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 21.2% Testes instáveis 2 Tokens de entrada 29,828 Tokens de saída 2,169 Tokens de raciocínio 0 Tempo de resposta (médio) 2.98s Tempo de resposta (total) 56.57s Tempo de resposta (máx.) 14.34s Resposta incorreta: 12 Não seguiu as instruções: 3 Erro de API: 2 Truques anti-IA : 3.1 Programação : 3.7 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.5 Seguimento de instruções : 3.5 Resolução de quebra-cabeças : 3.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#153#153	Mercury 2medium	7.0	Inception	$0.094	2.95s
Ver cartão do modelo Total de testes 22 Testes errados 12 Confiabilidade 10.0 Taxa de acerto por tentativa 53.0% Testes instáveis 4 Tokens de entrada 110,515 Tokens de saída 10,325 Tokens de raciocínio 77,229 Tempo de resposta (médio) 2.95s Tempo de resposta (total) 61.89s Tempo de resposta (máx.) 14.63s Resposta incorreta: 8 Não seguiu as instruções: 3 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.9 Programação : 8.2 Combinado : 6.7 Análise e extração de dados : 7.3 Específico do domínio : 2.9 Inteligência geral : 4.8 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#317#317	Laguna M.1none	4.4	Poolside	$0.009 ↕	2.89s
Ver cartão do modelo Total de testes 19 Testes errados 15 Confiabilidade 9.8 Taxa de acerto por tentativa 27.3% Testes instáveis 3 Tokens de entrada 38,147 Tokens de saída 2,054 Tokens de raciocínio 0 Tempo de resposta (médio) 2.89s Tempo de resposta (total) 43.28s Tempo de resposta (máx.) 15.42s Resposta incorreta: 10 Erro de API: 4 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.4 Programação : 2.5 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 3.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#287#287	GLM 5 Turbonone	5.1	Z.ai	$0.047 ↑	2.82s
Ver cartão do modelo Total de testes 21 Testes errados 15 Confiabilidade 10.0 Taxa de acerto por tentativa 30.3% Testes instáveis 2 Tokens de entrada 32,525 Tokens de saída 1,815 Tokens de raciocínio 0 Tempo de resposta (médio) 2.82s Tempo de resposta (total) 59.29s Tempo de resposta (máx.) 8.21s Resposta incorreta: 13 Não seguiu as instruções: 2 Truques anti-IA : 3.0 Programação : 3.9 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.2 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.5 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#172#172	Gemini 3 Flash Previewnone	6.8	Google	$0.085	2.82s
Ver cartão do modelo Total de testes 22 Testes errados 9 Confiabilidade 10.0 Taxa de acerto por tentativa 65.2% Testes instáveis 3 Tokens de entrada 104,217 Tokens de saída 10,710 Tokens de raciocínio 0 Tempo de resposta (médio) 2.82s Tempo de resposta (total) 45.05s Tempo de resposta (máx.) 21.19s Resposta incorreta: 8 Sem resposta: 1 Truques anti-IA : 8.3 Programação : 5.5 Combinado : 3.8 Análise e extração de dados : 10.0 Específico do domínio : 7.7 Inteligência geral : 10.0 Seguimento de instruções : 6.4 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#326#326	MiMo-V2-Flashnone	4.0	Xiaomi	$0.025 ↑	2.76s
Ver cartão do modelo Total de testes 21 Testes errados 17 Confiabilidade 6.7 Taxa de acerto por tentativa 24.2% Testes instáveis 4 Tokens de entrada 36,851 Tokens de saída 68,882 Tokens de raciocínio 0 Tempo de resposta (médio) 2.76s Tempo de resposta (total) 46.99s Tempo de resposta (máx.) 19.68s Resposta incorreta: 13 Não seguiu as instruções: 2 Erro de API: 1 Formatação extra: 1 Truques anti-IA : 3.2 Programação : 4.3 Combinado : 1.5 Análise e extração de dados : 2.9 Específico do domínio : 5.3 Inteligência geral : 4.6 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#177#177	Gemini 3.5 Flashminimal	6.7	Google	$0.300	2.65s
Ver cartão do modelo Total de testes 22 Testes errados 9 Confiabilidade 10.0 Taxa de acerto por tentativa 60.6% Testes instáveis 1 Tokens de entrada 100,762 Tokens de saída 16,454 Tokens de raciocínio 0 Tempo de resposta (médio) 2.65s Tempo de resposta (total) 58.21s Tempo de resposta (máx.) 25.26s Resposta incorreta: 6 Chamada de ferramenta inválida: 2 Não seguiu as instruções: 1 Truques anti-IA : 6.5 Programação : 5.6 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 7.7 Inteligência geral : 10.0 Seguimento de instruções : 6.4 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#301#301	GPT-5.4 Nanonone	4.8	OpenAI	$0.041	2.56s
Ver cartão do modelo Total de testes 22 Testes errados 18 Confiabilidade 10.0 Taxa de acerto por tentativa 27.3% Testes instáveis 4 Tokens de entrada 115,933 Tokens de saída 13,794 Tokens de raciocínio 0 Tempo de resposta (médio) 2.56s Tempo de resposta (total) 56.37s Tempo de resposta (máx.) 25.50s Resposta incorreta: 15 Não seguiu as instruções: 2 Sem resposta: 1 Truques anti-IA : 3.5 Programação : 4.6 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 2.9 Inteligência geral : 3.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#181#181	Gemini 3.5 Flash Litelow	6.6	Google	$0.138	2.56s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 69.7% Testes instáveis 6 Tokens de entrada 139,165 Tokens de saída 12,899 Tokens de raciocínio 25,511 Tempo de resposta (médio) 2.56s Tempo de resposta (total) 56.32s Tempo de resposta (máx.) 15.14s Resposta incorreta: 8 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 9.0 Programação : 4.3 Combinado : 3.8 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 7.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 4.7
#331#331	Mercury 2.5none	3.9	Inception	$0.016	2.45s
Ver cartão do modelo Total de testes 22 Testes errados 20 Confiabilidade 10.0 Taxa de acerto por tentativa 25.8% Testes instáveis 7 Tokens de entrada 123,740 Tokens de saída 71,143 Tokens de raciocínio 0 Tempo de resposta (médio) 2.45s Tempo de resposta (total) 53.83s Tempo de resposta (máx.) 36.48s Resposta incorreta: 14 Não seguiu as instruções: 4 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.8 Programação : 3.7 Combinado : 3.0 Análise e extração de dados : 2.8 Específico do domínio : 5.3 Inteligência geral : 4.3 Seguimento de instruções : 4.9 Resolução de quebra-cabeças : 3.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#259#259	Mimo V2 Omninone	5.5	Xiaomi	$0.021 ↓	2.44s
Ver cartão do modelo Total de testes 21 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 37.9% Testes instáveis 1 Tokens de entrada 40,852 Tokens de saída 3,314 Tokens de raciocínio 0 Tempo de resposta (médio) 2.44s Tempo de resposta (total) 48.81s Tempo de resposta (máx.) 6.81s Resposta incorreta: 10 Erro de API: 1 Formatação extra: 1 Não seguiu as instruções: 1 Truques anti-IA : 3.6 Programação : 4.4 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.1 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#152#152	GPT-5.5none	7.0	OpenAI	$0.544	2.35s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 59.1% Testes instáveis 2 Tokens de entrada 79,294 Tokens de saída 4,915 Tokens de raciocínio 0 Tempo de resposta (médio) 2.35s Tempo de resposta (total) 51.78s Tempo de resposta (máx.) 12.24s Resposta incorreta: 10 Truques anti-IA : 6.9 Programação : 5.5 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 6.2 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#251#251	Mimo V2 PROnone	5.6	Xiaomi	$0.045 ↓	2.27s
Ver cartão do modelo Total de testes 21 Testes errados 14 Confiabilidade 10.0 Taxa de acerto por tentativa 39.4% Testes instáveis 3 Tokens de entrada 39,344 Tokens de saída 2,352 Tokens de raciocínio 0 Tempo de resposta (médio) 2.27s Tempo de resposta (total) 45.50s Tempo de resposta (máx.) 6.58s Resposta incorreta: 11 Não seguiu as instruções: 2 Erro de API: 1 Truques anti-IA : 3.5 Programação : 5.5 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.3 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 6.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#149#149	GPT-5.6 Solnone	7.0	OpenAI	$0.201 ↓	2.17s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 63.6% Testes instáveis 3 Tokens de entrada 78,602 Tokens de saída 4,357 Tokens de raciocínio 0 Tempo de resposta (médio) 2.17s Tempo de resposta (total) 47.66s Tempo de resposta (máx.) 12.81s Resposta incorreta: 9 Não seguiu as instruções: 1 Truques anti-IA : 8.3 Programação : 5.5 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 6.5 Seguimento de instruções : 8.5 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#236#236	GPT-5.4none	5.8	OpenAI	$0.397	2.08s
Ver cartão do modelo Total de testes 22 Testes errados 15 Confiabilidade 10.0 Taxa de acerto por tentativa 34.9% Testes instáveis 2 Tokens de entrada 108,641 Tokens de saída 8,339 Tokens de raciocínio 0 Tempo de resposta (médio) 2.08s Tempo de resposta (total) 45.75s Tempo de resposta (máx.) 15.63s Resposta incorreta: 14 Não seguiu as instruções: 1 Truques anti-IA : 3.2 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.4 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#241#241	Inkling Smalllow	5.7	Thinkingmachines	$0.055 ↓	2.07s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 50.0% Testes instáveis 4 Tokens de entrada 81,447 Tokens de saída 2,715 Tokens de raciocínio 11,971 Tempo de resposta (médio) 2.07s Tempo de resposta (total) 45.64s Tempo de resposta (máx.) 5.82s Resposta incorreta: 9 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 2 Truques anti-IA : 9.2 Programação : 4.6 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.3 Seguimento de instruções : 9.9 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#293#293	GPT-4o-mininone	5.0	OpenAI	$0.010	1.92s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 22.7% Testes instáveis 0 Tokens de entrada 53,145 Tokens de saída 2,913 Tokens de raciocínio 0 Tempo de resposta (médio) 1.92s Tempo de resposta (total) 30.71s Tempo de resposta (máx.) 7.58s Resposta incorreta: 15 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 4.8 Programação : 3.2 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.5 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#209#209	Gemini 3.1 Flash Liteminimal	6.1	Google	$0.047	1.85s
Ver cartão do modelo Total de testes 22 Testes errados 12 Confiabilidade 10.0 Taxa de acerto por tentativa 51.5% Testes instáveis 3 Tokens de entrada 119,076 Tokens de saída 11,118 Tokens de raciocínio 0 Tempo de resposta (médio) 1.85s Tempo de resposta (total) 40.74s Tempo de resposta (máx.) 12.97s Resposta incorreta: 8 Não seguiu as instruções: 3 Sem resposta: 1 Truques anti-IA : 8.3 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 4.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 6.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#213#213	Gemini 3.1 Flash Litenone	6.1	Google	$0.046	1.75s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 50.0% Testes instáveis 4 Tokens de entrada 118,059 Tokens de saída 10,723 Tokens de raciocínio 0 Tempo de resposta (médio) 1.75s Tempo de resposta (total) 38.42s Tempo de resposta (máx.) 16.25s Resposta incorreta: 11 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 7.5 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 4.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 6.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#224#224	GPT-5.6 Terranone	6.0	OpenAI	$0.280 ↓	1.66s
Ver cartão do modelo Total de testes 22 Testes errados 14 Confiabilidade 10.0 Taxa de acerto por tentativa 42.4% Testes instáveis 3 Tokens de entrada 102,268 Tokens de saída 6,221 Tokens de raciocínio 0 Tempo de resposta (médio) 1.66s Tempo de resposta (total) 36.54s Tempo de resposta (máx.) 10.07s Resposta incorreta: 11 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Sem resposta: 1 Truques anti-IA : 4.8 Programação : 5.5 Combinado : 2.9 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 8.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 9.6 Conhecimentos gerais : 3.0
#334#334	Grok 4.1 Fastnone	3.8	X AI	$0.008 ↓	1.62s
Ver cartão do modelo Total de testes 19 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 19.7% Testes instáveis 3 Tokens de entrada 36,608 Tokens de saída 1,723 Tokens de raciocínio 0 Tempo de resposta (médio) 1.62s Tempo de resposta (total) 19.48s Tempo de resposta (máx.) 5.51s Resposta incorreta: 13 Não seguiu as instruções: 3 Truques anti-IA : 3.2 Programação : 1.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 4.4 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#234#234	GPT-5.4 Mininone	5.9	OpenAI	$0.095	1.58s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 31.8% Testes instáveis 2 Tokens de entrada 79,076 Tokens de saída 7,898 Tokens de raciocínio 0 Tempo de resposta (médio) 1.58s Tempo de resposta (total) 34.86s Tempo de resposta (máx.) 9.92s Resposta incorreta: 13 Não seguiu as instruções: 3 Truques anti-IA : 3.1 Programação : 5.5 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 4.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium