Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-10-17 Modelos avaliados: 442

Modelos recomendados

GPT-6.1 Sol xhigh Inteligente Taxa de acerto por tentativa 97.1% Testes corretos 22 / 23 Pontuação 9.9/10 Gemini 3.7 Flash low Rápido Tempo de resposta (médio) 6.24s Total de tokens de saída 38,453 Pontuação 9.4/10 GPT-6 Luna high Acessível Preço de entrada $0.100 / 1M Preço de saída $0.500 / 1M Preço de leitura do cache $0.010 / 1M Preço de escrita no cache $0.125 / 1M Pontuação 7.7/10

442/442

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#368#368	Laguna S 2.1low	4.6	Poolside	$0.108 ↓	88.24s
Ver cartão do modelo Total de testes 23 Testes errados 20 Confiabilidade 10.0 Taxa de acerto por tentativa 23.2% Testes instáveis 6 Tokens de entrada 232,641 Tokens de saída 69,335 Tokens de raciocínio 426,182 Tempo de resposta (médio) 88.24s Tempo de resposta (total) 2029.57s Tempo de resposta (máx.) 814.73s Resposta incorreta: 16 Não seguiu as instruções: 2 Formatação extra: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 2.8 Truques anti-IA : 3.4 Programação : 3.8 Combinado : 3.2 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 4.3 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#380#380	Granite 4.2 8Bnone	4.4	IBM Granite	$0.037	84.66s
Ver cartão do modelo Total de testes 23 Testes errados 20 Confiabilidade 9.1 Taxa de acerto por tentativa 15.9% Testes instáveis 2 Tokens de entrada 226,872 Tokens de saída 133,268 Tokens de raciocínio 0 Tempo de resposta (médio) 84.66s Tempo de resposta (total) 1947.17s Tempo de resposta (máx.) 747.17s Resposta incorreta: 11 Formatação extra: 4 Tempo esgotado: 3 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 5.0 Truques anti-IA : 4.9 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 2.9 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#390#390	Qwen3.5-9Bmedium	4.0	Qwen	$0.106	110.18s
Ver cartão do modelo Total de testes 23 Testes errados 20 Confiabilidade 8.7 Taxa de acerto por tentativa 26.1% Testes instáveis 6 Tokens de entrada 387,323 Tokens de saída 48,562 Tokens de raciocínio 410,431 Tempo de resposta (médio) 110.18s Tempo de resposta (total) 1873.00s Tempo de resposta (máx.) 569.97s Tempo esgotado: 11 Sem resposta: 3 Resposta incorreta: 2 Erro de API: 1 Formatação extra: 1 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 5.2 Truques anti-IA : 5.1 Programação : 2.9 Combinado : 3.0 Análise e extração de dados : 3.6 Específico do domínio : 3.6 Inteligência geral : 2.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#397#397	Nemotron 3.5 Lightningnone	3.8	NVIDIA	$0.009 ↕	15.92s
Ver cartão do modelo Total de testes 23 Testes errados 20 Confiabilidade 9.8 Taxa de acerto por tentativa 15.9% Testes instáveis 2 Tokens de entrada 97,418 Tokens de saída 4,779 Tokens de raciocínio 0 Tempo de resposta (médio) 15.92s Tempo de resposta (total) 366.20s Tempo de resposta (máx.) 339.57s Resposta incorreta: 16 Chamada de ferramenta inválida: 2 Não seguiu as instruções: 1 Tempo esgotado: 1 Tarefas de agentes : 3.0 Truques anti-IA : 4.8 Programação : 3.1 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.4 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
Ver cartão do modelo Total de testes 16 Testes errados 14 Confiabilidade N/D Taxa de acerto por tentativa 11.6% Testes instáveis 1 Tokens de entrada 10,771 Tokens de saída 1,173 Tokens de raciocínio 0 Tempo de resposta (médio) 782ms Tempo de resposta (total) 10.94s Tempo de resposta (máx.) 3.15s Resposta incorreta: 9 Erro de API: 4 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 1.5 Análise e extração de dados : 3.0 Específico do domínio : 5.9 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.8 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Ver cartão do modelo Total de testes 19 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 14.5% Testes instáveis 2 Tokens de entrada 11,661 Tokens de saída 1,302 Tokens de raciocínio 0 Tempo de resposta (médio) 728ms Tempo de resposta (total) 9.47s Tempo de resposta (máx.) 2.21s Resposta incorreta: 9 Erro de API: 6 Não seguiu as instruções: 2 Tarefas de agentes : 0.0 Truques anti-IA : 4.8 Programação : 3.3 Combinado : 1.5 Análise e extração de dados : 3.8 Específico do domínio : 3.6 Inteligência geral : 3.0 Seguimento de instruções : 4.8 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#361#361	Laguna S 2.1none	4.7	Poolside	$0.044 ↓	17.65s
Ver cartão do modelo Total de testes 23 Testes errados 21 Confiabilidade 10.0 Taxa de acerto por tentativa 14.5% Testes instáveis 3 Tokens de entrada 287,445 Tokens de saída 99,097 Tokens de raciocínio 0 Tempo de resposta (médio) 17.65s Tempo de resposta (total) 406.05s Tempo de resposta (máx.) 200.52s Resposta incorreta: 18 Não seguiu as instruções: 2 Sem resposta: 1 Tarefas de agentes : 5.4 Truques anti-IA : 3.1 Programação : 3.4 Combinado : 2.9 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 4.3 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 4.7 Conhecimentos gerais : 3.0
#388#388	Mercury 2.5none	4.1	Inception	$0.026	5.10s
Ver cartão do modelo Total de testes 23 Testes errados 21 Confiabilidade 10.0 Taxa de acerto por tentativa 24.6% Testes instáveis 7 Tokens de entrada 311,488 Tokens de saída 89,958 Tokens de raciocínio 0 Tempo de resposta (médio) 5.10s Tempo de resposta (total) 117.24s Tempo de resposta (máx.) 63.41s Resposta incorreta: 15 Não seguiu as instruções: 4 Formatação extra: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 5.0 Truques anti-IA : 3.8 Programação : 3.7 Combinado : 3.0 Análise e extração de dados : 2.8 Específico do domínio : 5.3 Inteligência geral : 4.3 Seguimento de instruções : 4.9 Resolução de quebra-cabeças : 3.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#395#395	Ling 3.0 Tinydefault	3.8	Inclusionai	$0.000	13.39s
Ver cartão do modelo Total de testes 23 Testes errados 21 Confiabilidade 9.8 Taxa de acerto por tentativa 8.7% Testes instáveis 0 Tokens de entrada 184,579 Tokens de saída 110,071 Tokens de raciocínio 0 Tempo de resposta (médio) 13.39s Tempo de resposta (total) 294.48s Tempo de resposta (máx.) 240.61s Resposta incorreta: 13 Não seguiu as instruções: 4 Erro de API: 2 Formatação extra: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 3.0 Truques anti-IA : 4.8 Programação : 4.2 Combinado : 3.0 Análise e extração de dados : 6.3 Específico do domínio : 3.0 Inteligência geral : 3.4 Seguimento de instruções : 3.1 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#396#396	Granite 4.1 8bdefault	3.8	IBM Granite	$0.007	1.38s
Ver cartão do modelo Total de testes 23 Testes errados 21 Confiabilidade 10.0 Taxa de acerto por tentativa 8.7% Testes instáveis 0 Tokens de entrada 113,836 Tokens de saída 5,996 Tokens de raciocínio 0 Tempo de resposta (médio) 1.38s Tempo de resposta (total) 31.81s Tempo de resposta (máx.) 16.67s Resposta incorreta: 13 Não seguiu as instruções: 4 Chamada de ferramenta inválida: 2 Erro de API: 1 Formatação extra: 1 Tarefas de agentes : 3.0 Truques anti-IA : 4.9 Programação : 4.5 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 3.6 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Ver cartão do modelo Total de testes 12 Testes errados 11 Confiabilidade 10.0 Taxa de acerto por tentativa 7.3% Testes instáveis 1 Tokens de entrada 41,466 Tokens de saída 69 Tokens de raciocínio 0 Tempo de resposta (médio) 982ms Tempo de resposta (total) 11.78s Tempo de resposta (máx.) 1.41s Resposta incorreta: 11 Tarefas de agentes : 0.0 Truques anti-IA : 4.4 Programação : 2.2 Combinado : 0.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
Ver cartão do modelo Total de testes 23 Testes errados 22 Confiabilidade 7.3 Taxa de acerto por tentativa 26.1% Testes instáveis 11 Tokens de entrada 98,467 Tokens de saída 3,385 Tokens de raciocínio 104,595 Tempo de resposta (médio) 371.69s Tempo de resposta (total) 8548.88s Tempo de resposta (máx.) 971.85s Resposta incorreta: 9 Tempo esgotado: 6 Erro de API: 4 Não seguiu as instruções: 3 Tarefas de agentes : 3.0 Truques anti-IA : 3.8 Programação : 4.2 Combinado : 3.0 Análise e extração de dados : 2.9 Específico do domínio : 3.6 Inteligência geral : 3.2 Seguimento de instruções : 4.3 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#408#408	Command A+medium	3.4	Cohere	$0.064	91.72s
Ver cartão do modelo Total de testes 23 Testes errados 23 Confiabilidade 3.5 Taxa de acerto por tentativa 0.0% Testes instáveis 0 Tokens de entrada 118,771 Tokens de saída 4,127 Tokens de raciocínio 14,668 Tempo de resposta (médio) 91.72s Tempo de resposta (total) 2109.54s Tempo de resposta (máx.) 112.76s Erro de API: 22 Resposta incorreta: 1 Tarefas de agentes : 5.0 Truques anti-IA : 3.0 Programação : 3.0 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 3.0 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#412#412	Xing4.0 29b A4bnone	3.3	Xingchen AGI	$0.000	42.72s
Ver cartão do modelo Total de testes 23 Testes errados 23 Confiabilidade 8.8 Taxa de acerto por tentativa 7.3% Testes instáveis 4 Tokens de entrada 153,665 Tokens de saída 26,540 Tokens de raciocínio 0 Tempo de resposta (médio) 42.72s Tempo de resposta (total) 982.66s Tempo de resposta (máx.) 634.11s Resposta incorreta: 13 Não seguiu as instruções: 5 Erro de API: 3 Chamada de ferramenta inválida: 1 Sem resposta: 1 Tarefas de agentes : 3.0 Truques anti-IA : 3.3 Programação : 3.6 Combinado : 3.0 Análise e extração de dados : 2.9 Específico do domínio : 3.0 Inteligência geral : 3.4 Seguimento de instruções : 4.0 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 4.7 Conhecimentos gerais : 3.0
#414#414	Command A+high	3.2	Cohere	$0.079	89.96s
Ver cartão do modelo Total de testes 23 Testes errados 23 Confiabilidade 3.5 Taxa de acerto por tentativa 0.0% Testes instáveis 0 Tokens de entrada 117,966 Tokens de saída 5,149 Tokens de raciocínio 23,514 Tempo de resposta (médio) 89.96s Tempo de resposta (total) 2069.01s Tempo de resposta (máx.) 156.00s Erro de API: 22 Resposta incorreta: 1 Tarefas de agentes : 3.9 Truques anti-IA : 3.0 Programação : 3.0 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 3.0 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#417#417	Command A+none	3.0	Cohere	$0.000	77.87s
Ver cartão do modelo Total de testes 23 Testes errados 23 Confiabilidade 0.0 Taxa de acerto por tentativa 0.0% Testes instáveis 0 Tokens de entrada 0 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 77.87s Tempo de resposta (total) 1791.03s Tempo de resposta (máx.) 106.37s Erro de API: 23 Tarefas de agentes : 3.0 Truques anti-IA : 3.0 Programação : 3.0 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 3.0 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#418#418	Command A+low	3.0	Cohere	$0.073	92.50s
Ver cartão do modelo Total de testes 23 Testes errados 23 Confiabilidade 3.5 Taxa de acerto por tentativa 1.5% Testes instáveis 1 Tokens de entrada 114,874 Tokens de saída 1,992 Tokens de raciocínio 23,529 Tempo de resposta (médio) 92.50s Tempo de resposta (total) 2127.40s Tempo de resposta (máx.) 128.54s Erro de API: 22 Resposta incorreta: 1 Tarefas de agentes : 2.8 Truques anti-IA : 3.0 Programação : 3.0 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 3.0 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0

←

1 17 18

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow