Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-09-04 Modelos avaliados: 316

Modelos recomendados

GPT-5.6 Sol high Inteligente Taxa de acerto por tentativa 89.4% Testes corretos 18 / 22 Pontuação 9.4/10 GPT-5.6 Luna medium Rápido Tempo de resposta (médio) 7.43s Total de tokens de saída 44,525 Pontuação 7.4/10 DeepSeek V4 Flash 0731 high Acessível Preço de entrada $0.065 / 1M Preço de saída $0.180 / 1M Pontuação 8.0/10

316/316

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#301#301	MiMo-V2-Flashnone	4.0	Xiaomi	$0.025 ↑	2.76s
Ver cartão do modelo Total de testes 21 Testes errados 17 Confiabilidade 6.7 Taxa de acerto por tentativa 24.2% Testes instáveis 4 Tokens de entrada 36,851 Tokens de saída 68,882 Tokens de raciocínio 0 Tempo de resposta (médio) 2.76s Tempo de resposta (total) 46.99s Tempo de resposta (máx.) 19.68s Resposta incorreta: 13 Não seguiu as instruções: 2 Erro de API: 1 Formatação extra: 1 Truques anti-IA : 3.2 Programação : 4.3 Combinado : 1.5 Análise e extração de dados : 2.9 Específico do domínio : 5.3 Inteligência geral : 4.6 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#309#309	Qwen3.5-9Bmedium	3.8	Qwen	$0.062 ↑	107.51s
Ver cartão do modelo Total de testes 22 Testes errados 19 Confiabilidade 6.0 Taxa de acerto por tentativa 25.8% Testes instáveis 5 Tokens de entrada 17,195 Tokens de saída 46,735 Tokens de raciocínio 366,707 Tempo de resposta (médio) 107.51s Tempo de resposta (total) 1720.15s Tempo de resposta (máx.) 569.97s Tempo esgotado: 11 Sem resposta: 3 Resposta incorreta: 2 Erro de API: 1 Formatação extra: 1 Não seguiu as instruções: 1 Truques anti-IA : 5.1 Programação : 2.9 Combinado : 3.0 Análise e extração de dados : 3.6 Específico do domínio : 3.6 Inteligência geral : 2.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#233#233	Hy4 previewlow	5.6	Tencent	$1.745	214.25s
Ver cartão do modelo Total de testes 22 Testes errados 19 Confiabilidade 5.4 Taxa de acerto por tentativa 19.7% Testes instáveis 3 Tokens de entrada 45,154 Tokens de saída 4,022 Tokens de raciocínio 678,516 Tempo de resposta (médio) 214.25s Tempo de resposta (total) 4713.56s Tempo de resposta (máx.) 597.45s Erro de API: 14 Resposta incorreta: 3 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 6.0 Programação : 5.2 Combinado : 2.9 Análise e extração de dados : 8.7 Específico do domínio : 4.5 Inteligência geral : 7.5 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#273#273	Hy4 previewnone	4.8	Tencent	$0.041	39.24s
Ver cartão do modelo Total de testes 22 Testes errados 19 Confiabilidade 4.3 Taxa de acerto por tentativa 16.7% Testes instáveis 1 Tokens de entrada 26,376 Tokens de saída 7,306 Tokens de raciocínio 0 Tempo de resposta (médio) 39.24s Tempo de resposta (total) 863.30s Tempo de resposta (máx.) 95.32s Resposta incorreta: 9 Erro de API: 7 Não seguiu as instruções: 2 Formatação extra: 1 Truques anti-IA : 3.3 Programação : 3.8 Combinado : 3.0 Análise e extração de dados : 8.7 Específico do domínio : 6.8 Inteligência geral : 5.1 Seguimento de instruções : 7.0 Resolução de quebra-cabeças : 4.6 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#201#201	Grok 4.20 Betamedium	6.0	X AI	$0.750 ↑	9.75s
Ver cartão do modelo Total de testes 18 Testes errados 4 Confiabilidade N/D Taxa de acerto por tentativa 66.7% Testes instáveis 1 Tokens de entrada 35,955 Tokens de saída 1,647 Tokens de raciocínio 91,565 Tempo de resposta (médio) 9.75s Tempo de resposta (total) 175.48s Tempo de resposta (máx.) 31.36s Resposta incorreta: 3 Não seguiu as instruções: 1 Truques anti-IA : 8.7 Programação : 3.3 Combinado : 5.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#203#203	Gemini 3 PRO Previewmedium	6.0	Google	$0.385 ↑	9.05s
Ver cartão do modelo Total de testes 21 Testes errados 7 Confiabilidade N/D Taxa de acerto por tentativa 63.6% Testes instáveis 0 Tokens de entrada 28,848 Tokens de saída 1,490 Tokens de raciocínio 10,102 Tempo de resposta (médio) 9.05s Tempo de resposta (total) 90.53s Tempo de resposta (máx.) 26.24s Erro de API: 4 Resposta incorreta: 3 Truques anti-IA : 10.0 Programação : 3.0 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#250#250	Gemini 3.1 Flash Lite Previewhigh	5.3	Google	$2.310	68.14s
Ver cartão do modelo Total de testes 16 Testes errados 3 Confiabilidade N/D Taxa de acerto por tentativa 59.1% Testes instáveis 0 Tokens de entrada 28,980 Tokens de saída 1,283 Tokens de raciocínio 1,533,310 Tempo de resposta (médio) 68.14s Tempo de resposta (total) 1090.28s Tempo de resposta (máx.) 280.52s Resposta incorreta: 2 Não seguiu as instruções: 1 Truques anti-IA : 7.5 Programação : 0.0 Combinado : 5.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#269#269	Qwen3.6 Plus Previewmedium	4.9	Qwen	$0.000	15.25s
Ver cartão do modelo Total de testes 19 Testes errados 10 Confiabilidade N/D Taxa de acerto por tentativa 40.9% Testes instáveis 0 Tokens de entrada 32,639 Tokens de saída 1,153 Tokens de raciocínio 62,197 Tempo de resposta (médio) 15.25s Tempo de resposta (total) 182.96s Tempo de resposta (máx.) 43.55s Erro de API: 8 Resposta incorreta: 2 Truques anti-IA : 8.3 Programação : 9.8 Combinado : 5.0 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 3.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#278#278	Grok 4.20 Multi Agent Betamedium	4.8	X AI	$5.599 ↑	9.69s
Ver cartão do modelo Total de testes 18 Testes errados 10 Confiabilidade N/D Taxa de acerto por tentativa 48.5% Testes instáveis 5 Tokens de entrada 721,952 Tokens de saída 294,668 Tokens de raciocínio 305,374 Tempo de resposta (médio) 9.69s Tempo de resposta (total) 155.07s Tempo de resposta (máx.) 35.28s Resposta incorreta: 4 Erro de API: 2 Formatação extra: 2 Não seguiu as instruções: 2 Truques anti-IA : 6.9 Programação : 3.3 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 5.8 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 6.7 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#282#282	Hunter Alphamedium	4.7	OpenRouter	$0.000	10.33s
Ver cartão do modelo Total de testes 18 Testes errados 10 Confiabilidade N/D Taxa de acerto por tentativa 53.0% Testes instáveis 6 Tokens de entrada 28,927 Tokens de saída 4,682 Tokens de raciocínio 17,969 Tempo de resposta (médio) 10.33s Tempo de resposta (total) 175.58s Tempo de resposta (máx.) 30.53s Resposta incorreta: 4 Não seguiu as instruções: 2 Tempo esgotado: 2 Erro de API: 1 Formatação extra: 1 Truques anti-IA : 7.3 Programação : 9.8 Combinado : 2.3 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 7.0 Seguimento de instruções : 9.9 Resolução de quebra-cabeças : 6.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#291#291	Grok 4.20 Betanone	4.4	X AI	$0.087 ↓	1.19s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 30.3% Testes instáveis 1 Tokens de entrada 40,597 Tokens de saída 1,657 Tokens de raciocínio 0 Tempo de resposta (médio) 1.19s Tempo de resposta (total) 21.43s Tempo de resposta (máx.) 6.48s Resposta incorreta: 10 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.0 Programação : 1.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#293#293	Elephant Alphanone	4.3	Openrouter	$0.000	1.22s
Ver cartão do modelo Total de testes 21 Testes errados 16 Confiabilidade N/D Taxa de acerto por tentativa 25.8% Testes instáveis 1 Tokens de entrada 33,743 Tokens de saída 2,573 Tokens de raciocínio 0 Tempo de resposta (médio) 1.22s Tempo de resposta (total) 22.03s Tempo de resposta (máx.) 3.81s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 3 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.6 Programação : 4.2 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 4.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#295#295	Elephant Alphamedium	4.3	Openrouter	$0.000	1.27s
Ver cartão do modelo Total de testes 21 Testes errados 15 Confiabilidade N/D Taxa de acerto por tentativa 28.8% Testes instáveis 1 Tokens de entrada 33,744 Tokens de saída 2,596 Tokens de raciocínio 0 Tempo de resposta (médio) 1.27s Tempo de resposta (total) 22.82s Tempo de resposta (máx.) 3.70s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.6 Programação : 3.7 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.3 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#297#297	Hunter Alphanone	4.2	OpenRouter	$0.000	4.70s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 37.9% Testes instáveis 4 Tokens de entrada 34,329 Tokens de saída 2,264 Tokens de raciocínio 0 Tempo de resposta (médio) 4.70s Tempo de resposta (total) 79.86s Tempo de resposta (máx.) 15.17s Resposta incorreta: 9 Não seguiu as instruções: 2 Erro de API: 1 Truques anti-IA : 3.5 Programação : 9.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 6.1 Seguimento de instruções : 6.4 Resolução de quebra-cabeças : 5.8 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#298#298	Grok 4.20none	4.1	X AI	$0.057 ↓	1.11s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 27.3% Testes instáveis 0 Tokens de entrada 41,313 Tokens de saída 1,923 Tokens de raciocínio 0 Tempo de resposta (médio) 1.11s Tempo de resposta (total) 19.96s Tempo de resposta (máx.) 6.04s Resposta incorreta: 10 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.8 Programação : 1.1 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#316#316	LFM2-24B-A2Bnone	2.2	Liquid	$0.001	782ms
Ver cartão do modelo Total de testes 16 Testes errados 14 Confiabilidade N/D Taxa de acerto por tentativa 12.1% Testes instáveis 1 Tokens de entrada 10,771 Tokens de saída 1,173 Tokens de raciocínio 0 Tempo de resposta (médio) 782ms Tempo de resposta (total) 10.94s Tempo de resposta (máx.) 3.15s Resposta incorreta: 9 Erro de API: 4 Não seguiu as instruções: 1 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 1.5 Análise e extração de dados : 3.0 Específico do domínio : 5.9 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.8 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0

←

1 12 13

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium