Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-10-17 Modelos avaliados: 442

Modelos recomendados

GPT-6.1 Sol xhigh Inteligente Taxa de acerto por tentativa 97.1% Testes corretos 22 / 23 Pontuação 9.9/10 Gemini 3.7 Flash low Rápido Tempo de resposta (médio) 6.24s Total de tokens de saída 38,453 Pontuação 9.4/10 GPT-6 Luna high Acessível Preço de entrada $0.100 / 1M Preço de saída $0.500 / 1M Preço de leitura do cache $0.010 / 1M Preço de escrita no cache $0.125 / 1M Pontuação 7.7/10

442/442

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#171#171	LongCat 2.0medium	7.2	Meituan	$0.767 ↑	144.88s
Ver cartão do modelo Total de testes 23 Testes errados 11 Confiabilidade 10.0 Taxa de acerto por tentativa 59.4% Testes instáveis 3 Tokens de entrada 287,669 Tokens de saída 47,204 Tokens de raciocínio 375,030 Tempo de resposta (médio) 144.88s Tempo de resposta (total) 3332.19s Tempo de resposta (máx.) 939.52s Resposta incorreta: 8 Erro de API: 1 Sem resposta: 1 Tempo esgotado: 1 Tarefas de agentes : 6.1 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 7.3 Análise e extração de dados : 6.3 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#206#206	Solar Pro 4low	6.7	Upstage	$0.101 ↑	145.21s
Ver cartão do modelo Total de testes 23 Testes errados 12 Confiabilidade 10.0 Taxa de acerto por tentativa 60.9% Testes instáveis 7 Tokens de entrada 384,974 Tokens de saída 13,946 Tokens de raciocínio 371,916 Tempo de resposta (médio) 145.21s Tempo de resposta (total) 3339.87s Tempo de resposta (máx.) 640.89s Resposta incorreta: 7 Não seguiu as instruções: 2 Erro de API: 1 Sem resposta: 1 Tempo esgotado: 1 Tarefas de agentes : 6.1 Truques anti-IA : 8.2 Programação : 5.5 Combinado : 6.3 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 5.5 Seguimento de instruções : 8.0 Resolução de quebra-cabeças : 9.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#67#67	MiMo-V2.6-Promedium	8.7	Xiaomi	$0.586	148.11s
Ver cartão do modelo Total de testes 23 Testes errados 9 Confiabilidade 9.5 Taxa de acerto por tentativa 78.3% Testes instáveis 7 Tokens de entrada 298,476 Tokens de saída 7,762 Tokens de raciocínio 515,918 Tempo de resposta (médio) 148.11s Tempo de resposta (total) 3406.53s Tempo de resposta (máx.) 904.91s Formatação extra: 3 Resposta incorreta: 3 Não seguiu as instruções: 1 Sem resposta: 1 Tempo esgotado: 1 Tarefas de agentes : 10.0 Truques anti-IA : 7.3 Programação : 8.2 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 10.0 Seguimento de instruções : 8.4 Resolução de quebra-cabeças : 8.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 2.8
#385#385	GLM 4.7 Flashmedium	4.2	Z.ai	$0.193	150.90s
Ver cartão do modelo Total de testes 23 Testes errados 19 Confiabilidade 9.4 Taxa de acerto por tentativa 30.4% Testes instáveis 8 Tokens de entrada 228,711 Tokens de saída 42,254 Tokens de raciocínio 422,121 Tempo de resposta (médio) 150.90s Tempo de resposta (total) 2414.33s Tempo de resposta (máx.) 1539.97s Resposta incorreta: 10 Sem resposta: 3 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 2 Tempo esgotado: 2 Tarefas de agentes : 3.9 Truques anti-IA : 4.7 Programação : 3.2 Combinado : 2.9 Análise e extração de dados : 6.3 Específico do domínio : 3.5 Inteligência geral : 3.6 Seguimento de instruções : 6.2 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#162#162	LongCat 2.0high	7.3	Meituan	$0.778 ↑	151.67s
Ver cartão do modelo Total de testes 23 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 53.6% Testes instáveis 4 Tokens de entrada 275,080 Tokens de saída 32,447 Tokens de raciocínio 372,188 Tempo de resposta (médio) 151.67s Tempo de resposta (total) 3488.43s Tempo de resposta (máx.) 941.66s Resposta incorreta: 7 Não seguiu as instruções: 2 Sem resposta: 2 Tempo esgotado: 2 Tarefas de agentes : 10.0 Truques anti-IA : 8.9 Programação : 7.8 Combinado : 10.0 Análise e extração de dados : 3.6 Específico do domínio : 3.6 Inteligência geral : 5.1 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#30#30	Muse Spark Openhigh	9.2	Meta	$1.782	151.96s
Ver cartão do modelo Total de testes 23 Testes errados 6 Confiabilidade 9.4 Taxa de acerto por tentativa 76.8% Testes instáveis 1 Tokens de entrada 270,889 Tokens de saída 10,688 Tokens de raciocínio 328,857 Tempo de resposta (médio) 151.96s Tempo de resposta (total) 3495.01s Tempo de resposta (máx.) 960.01s Tempo esgotado: 2 Resposta incorreta: 2 Erro de API: 1 Não seguiu as instruções: 1 Tarefas de agentes : 10.0 Truques anti-IA : 8.3 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 7.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#185#185	Step 5 Previewhigh	7.0	Stepfun	$4.513	154.41s
Ver cartão do modelo Total de testes 23 Testes errados 13 Confiabilidade 9.5 Taxa de acerto por tentativa 52.2% Testes instáveis 4 Tokens de entrada 243,381 Tokens de saída 1,581,325 Tokens de raciocínio 0 Tempo de resposta (médio) 154.41s Tempo de resposta (total) 3551.40s Tempo de resposta (máx.) 455.72s Sem resposta: 7 Resposta incorreta: 3 Erro de API: 2 Não seguiu as instruções: 1 Tarefas de agentes : 10.0 Truques anti-IA : 6.5 Programação : 2.9 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 3.4 Seguimento de instruções : 7.3 Resolução de quebra-cabeças : 5.8 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#29#29	Seed 2.1 Turbolow	9.3	Bytedance Seed	$1.645	161.25s
Ver cartão do modelo Total de testes 23 Testes errados 5 Confiabilidade 10.0 Taxa de acerto por tentativa 81.2% Testes instáveis 2 Tokens de entrada 241,855 Tokens de saída 8,387 Tokens de raciocínio 600,946 Tempo de resposta (médio) 161.25s Tempo de resposta (total) 3708.70s Tempo de resposta (máx.) 739.98s Resposta incorreta: 3 Sem resposta: 2 Tarefas de agentes : 10.0 Truques anti-IA : 8.2 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#66#66	Qwen3.8 27Bhigh	8.7	Qwen	~$0.298	166.34s
Ver cartão do modelo Total de testes 23 Testes errados 6 Confiabilidade 9.7 Taxa de acerto por tentativa 78.3% Testes instáveis 2 Tokens de entrada 348,967 Tokens de saída 1,005 Tokens de raciocínio 676,075 Tempo de resposta (médio) 166.34s Tempo de resposta (total) 3825.81s Tempo de resposta (máx.) 640.85s Não seguiu as instruções: 2 Sem resposta: 2 Resposta incorreta: 2 Tarefas de agentes : 10.0 Truques anti-IA : 10.0 Programação : 8.1 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 7.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#42#42	Seed 2.1 Turbohigh	9.1	Bytedance Seed	$1.892	170.52s
Ver cartão do modelo Total de testes 23 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 79.7% Testes instáveis 3 Tokens de entrada 246,954 Tokens de saída 8,378 Tokens de raciocínio 698,942 Tempo de resposta (médio) 170.52s Tempo de resposta (total) 3922.04s Tempo de resposta (máx.) 584.71s Resposta incorreta: 4 Não seguiu as instruções: 1 Sem resposta: 1 Tarefas de agentes : 10.0 Truques anti-IA : 8.2 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 6.5 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
Ver cartão do modelo Total de testes 23 Testes errados 5 Confiabilidade 9.8 Taxa de acerto por tentativa 87.0% Testes instáveis 3 Tokens de entrada 328,637 Tokens de saída 8,619 Tokens de raciocínio 432,733 Tempo de resposta (médio) 186.06s Tempo de resposta (total) 4279.49s Tempo de resposta (máx.) 912.78s Resposta incorreta: 2 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tempo esgotado: 1 Tarefas de agentes : 10.0 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 8.7 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 6.5 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#68#68	Seed 2.1 Turbomedium	8.7	Bytedance Seed	$2.042	189.13s
Ver cartão do modelo Total de testes 23 Testes errados 7 Confiabilidade 10.0 Taxa de acerto por tentativa 79.7% Testes instáveis 5 Tokens de entrada 234,572 Tokens de saída 8,019 Tokens de raciocínio 761,563 Tempo de resposta (médio) 189.13s Tempo de resposta (total) 4349.92s Tempo de resposta (máx.) 885.33s Resposta incorreta: 5 Não seguiu as instruções: 1 Sem resposta: 1 Tarefas de agentes : 10.0 Truques anti-IA : 8.2 Programação : 8.2 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 6.1 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 9.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#319#319	Step 3.5 Flashmedium	5.4	Stepfun	$0.105	190.48s
Ver cartão do modelo Total de testes 22 Testes errados 12 Confiabilidade 10.0 Taxa de acerto por tentativa 49.3% Testes instáveis 3 Tokens de entrada 139,086 Tokens de saída 193,584 Tokens de raciocínio 413,546 Tempo de resposta (médio) 190.48s Tempo de resposta (total) 3238.23s Tempo de resposta (máx.) 1597.85s Resposta incorreta: 6 Não seguiu as instruções: 3 Erro de API: 1 Sem resposta: 1 Tempo esgotado: 1 Tarefas de agentes : 2.8 Truques anti-IA : 10.0 Programação : 2.4 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 3.5 Inteligência geral : 5.5 Seguimento de instruções : 8.3 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#317#317	Hy4 previewlow	5.4	Tencent	$1.844	207.21s
Ver cartão do modelo Total de testes 23 Testes errados 20 Confiabilidade 6.5 Taxa de acerto por tentativa 21.7% Testes instáveis 4 Tokens de entrada 162,180 Tokens de saída 5,030 Tokens de raciocínio 682,447 Tempo de resposta (médio) 207.21s Tempo de resposta (total) 4765.91s Tempo de resposta (máx.) 597.45s Resposta incorreta: 13 Erro de API: 5 Não seguiu as instruções: 1 Sem resposta: 1 Tarefas de agentes : 4.7 Truques anti-IA : 6.0 Programação : 5.2 Combinado : 2.9 Análise e extração de dados : 8.7 Específico do domínio : 4.5 Inteligência geral : 7.5 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#362#362	Granite 4.2 8Bhigh	4.7	IBM Granite	$0.111	235.35s
Ver cartão do modelo Total de testes 23 Testes errados 19 Confiabilidade 8.2 Taxa de acerto por tentativa 37.7% Testes instáveis 10 Tokens de entrada 282,658 Tokens de saída 198,563 Tokens de raciocínio 462,804 Tempo de resposta (médio) 235.35s Tempo de resposta (total) 5413.09s Tempo de resposta (máx.) 685.87s Tempo esgotado: 10 Resposta incorreta: 7 Chamada de ferramenta inválida: 1 Sem resposta: 1 Tarefas de agentes : 5.0 Truques anti-IA : 6.9 Programação : 3.8 Combinado : 5.0 Análise e extração de dados : 3.8 Específico do domínio : 2.9 Inteligência geral : 5.5 Seguimento de instruções : 6.4 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#146#146	Mistral Large 4high	7.5	Mistral	$1.391	263.69s
Ver cartão do modelo Total de testes 23 Testes errados 11 Confiabilidade 9.0 Taxa de acerto por tentativa 65.2% Testes instáveis 6 Tokens de entrada 230,895 Tokens de saída 161,281 Tokens de raciocínio 510,655 Tempo de resposta (médio) 263.69s Tempo de resposta (total) 6064.89s Tempo de resposta (máx.) 1727.29s Resposta incorreta: 6 Não seguiu as instruções: 2 Sem resposta: 2 Tempo esgotado: 1 Tarefas de agentes : 10.0 Truques anti-IA : 8.3 Programação : 3.3 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 3.5 Inteligência geral : 10.0 Seguimento de instruções : 8.4 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
Ver cartão do modelo Total de testes 23 Testes errados 22 Confiabilidade 7.3 Taxa de acerto por tentativa 26.1% Testes instáveis 11 Tokens de entrada 98,467 Tokens de saída 3,385 Tokens de raciocínio 104,595 Tempo de resposta (médio) 371.69s Tempo de resposta (total) 8548.88s Tempo de resposta (máx.) 971.85s Resposta incorreta: 9 Tempo esgotado: 6 Erro de API: 4 Não seguiu as instruções: 3 Tarefas de agentes : 3.0 Truques anti-IA : 3.8 Programação : 4.2 Combinado : 3.0 Análise e extração de dados : 2.9 Específico do domínio : 3.6 Inteligência geral : 3.2 Seguimento de instruções : 4.3 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0

←

1 17 18

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow