Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-10-01 Modelos avaliados: 382

Modelos recomendados

GPT-6.1 Sol xhigh Inteligente Taxa de acerto por tentativa 97.1% Testes corretos 22 / 23 Pontuação 9.9/10 Gemini 3.7 Flash low Rápido Tempo de resposta (médio) 6.24s Total de tokens de saída 38,453 Pontuação 9.4/10 GPT-6 Luna high Acessível Preço de entrada $0.100 / 1M Preço de saída $0.500 / 1M Preço de leitura do cache $0.010 / 1M Preço de escrita no cache $0.125 / 1M Pontuação 7.7/10

382/382

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#376#376	Kev 4Bnone	2.4	Jaredpalmer	$0.002	5.63s
Ver cartão do modelo Total de testes 12 Testes errados 9 Confiabilidade 10.0 Taxa de acerto por tentativa 15.9% Testes instáveis 1 Tokens de entrada 42,804 Tokens de saída 28,061 Tokens de raciocínio 0 Tempo de resposta (médio) 5.63s Tempo de resposta (total) 67.61s Tempo de resposta (máx.) 17.79s Resposta incorreta: 9 Tarefas de agentes : 0.0 Truques anti-IA : 2.3 Programação : 4.5 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 2.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#377#377	Step 3.5 Flashnone	1.9	Stepfun	$0.020	39.03s
Ver cartão do modelo Total de testes 12 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 26.1% Testes instáveis 0 Tokens de entrada 1,971 Tokens de saída 64,795 Tokens de raciocínio 0 Tempo de resposta (médio) 39.03s Tempo de resposta (total) 312.26s Tempo de resposta (máx.) 114.12s Erro de API: 4 Não seguiu as instruções: 1 Resposta incorreta: 1 Tarefas de agentes : 0.0 Truques anti-IA : 10.0 Programação : 1.0 Combinado : 1.5 Análise e extração de dados : 1.5 Específico do domínio : 3.3 Inteligência geral : 4.0 Seguimento de instruções : 5.0 Resolução de quebra-cabeças : 0.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#378#378	Gemini 3 Flash Previewhigh	1.8	Google	$0.105	52.45s
Ver cartão do modelo Total de testes 1 Testes errados 0 Confiabilidade 10.0 Taxa de acerto por tentativa 4.4% Testes instáveis 0 Tokens de entrada 134,050 Tokens de saída 1,029 Tokens de raciocínio 11,528 Tempo de resposta (médio) 52.45s Tempo de resposta (total) 52.45s Tempo de resposta (máx.) 52.45s Tarefas de agentes : 10.0 Truques anti-IA : 0.0 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 0.0 Específico do domínio : 0.0 Inteligência geral : 0.0 Seguimento de instruções : 0.0 Resolução de quebra-cabeças : 0.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#379#379	LFM2-24B-A2Bnone	1.8	Liquid	$0.001	782ms
Ver cartão do modelo Total de testes 16 Testes errados 14 Confiabilidade N/D Taxa de acerto por tentativa 11.6% Testes instáveis 1 Tokens de entrada 10,771 Tokens de saída 1,173 Tokens de raciocínio 0 Tempo de resposta (médio) 782ms Tempo de resposta (total) 10.94s Tempo de resposta (máx.) 3.15s Resposta incorreta: 9 Erro de API: 4 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 1.5 Análise e extração de dados : 3.0 Específico do domínio : 5.9 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.8 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#380#380	Solar Decidenone	1.0	Upstage	$0.009 ↑	6.01s
Ver cartão do modelo Total de testes 7 Testes errados 5 Confiabilidade 10.0 Taxa de acerto por tentativa 14.5% Testes instáveis 3 Tokens de entrada 47,586 Tokens de saída 51 Tokens de raciocínio 0 Tempo de resposta (médio) 6.01s Tempo de resposta (total) 42.05s Tempo de resposta (máx.) 13.10s Resposta incorreta: 5 Tarefas de agentes : 0.0 Truques anti-IA : 0.8 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 3.7 Específico do domínio : 4.3 Inteligência geral : 0.0 Seguimento de instruções : 5.0 Resolução de quebra-cabeças : 1.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#381#381	Tev1 4B Experimentalnone	1.0	Togethercomputer	$0.002	498ms
Ver cartão do modelo Total de testes 7 Testes errados 4 Confiabilidade 10.0 Taxa de acerto por tentativa 13.0% Testes instáveis 0 Tokens de entrada 33,864 Tokens de saída 96 Tokens de raciocínio 0 Tempo de resposta (médio) 498ms Tempo de resposta (total) 3.49s Tempo de resposta (máx.) 602ms Resposta incorreta: 4 Tarefas de agentes : 0.0 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 3.0 Específico do domínio : 6.7 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#382#382	Claude Opus 5.5none	0.2	Anthropic	$0.015	13.58s
Ver cartão do modelo Total de testes 1 Testes errados 0 Confiabilidade 10.0 Taxa de acerto por tentativa 4.4% Testes instáveis 0 Tokens de entrada 73 Tokens de saída 735 Tokens de raciocínio 0 Tempo de resposta (médio) 13.58s Tempo de resposta (total) 13.58s Tempo de resposta (máx.) 13.58s Tarefas de agentes : 0.0 Truques anti-IA : 0.0 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 0.0 Específico do domínio : 3.3 Inteligência geral : 0.0 Seguimento de instruções : 0.0 Resolução de quebra-cabeças : 0.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0

←

1 15 16

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow