Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-09-22 Modelos avaliados: 343

Modelos recomendados

GPT-6 Astra xhigh Inteligente Taxa de acerto por tentativa 97.0% Testes corretos 21 / 22 Pontuação 9.9/10 GPT-5.6 Luna medium Rápido Tempo de resposta (médio) 7.43s Total de tokens de saída 44,525 Pontuação 7.4/10 DeepSeek V4 Flash 0731 high Acessível Preço de entrada $0.040 / 1M Preço de saída $0.640 / 1M Pontuação 8.0/10

343/343

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#325#325	Hy3 previewnone	4.0	Tencent	$0.007 ↕	12.92s
Ver cartão do modelo Total de testes 21 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 22.7% Testes instáveis 2 Tokens de entrada 27,172 Tokens de saída 2,661 Tokens de raciocínio 0 Tempo de resposta (médio) 12.92s Tempo de resposta (total) 232.64s Tempo de resposta (máx.) 35.84s Resposta incorreta: 8 Erro de API: 4 Não seguiu as instruções: 4 Formatação extra: 1 Truques anti-IA : 4.8 Programação : 2.7 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.6 Inteligência geral : 4.1 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#95#95	Claude Opus 4.8low	7.8	Anthropic	$2.089	12.88s
Ver cartão do modelo Total de testes 22 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 80.3% Testes instáveis 3 Tokens de entrada 156,522 Tokens de saída 43,056 Tokens de raciocínio 9,181 Tempo de resposta (médio) 12.88s Tempo de resposta (total) 283.32s Tempo de resposta (máx.) 127.97s Resposta incorreta: 4 Formatação extra: 1 Sem resposta: 1 Truques anti-IA : 10.0 Programação : 6.6 Combinado : 9.9 Análise e extração de dados : 6.3 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#228#228	Qwen3.5-35B-A3Bnone	5.9	Qwen	$0.151 ↑	12.73s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 39.4% Testes instáveis 4 Tokens de entrada 134,530 Tokens de saída 86,616 Tokens de raciocínio 0 Tempo de resposta (médio) 12.73s Tempo de resposta (total) 279.97s Tempo de resposta (máx.) 209.15s Resposta incorreta: 13 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.4 Programação : 5.5 Combinado : 3.8 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 6.5 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#13#13	GPT-5.6 Solmedium	9.4	OpenAI	$0.508 ↓	12.63s
Ver cartão do modelo Total de testes 22 Testes errados 4 Confiabilidade 10.0 Taxa de acerto por tentativa 90.9% Testes instáveis 3 Tokens de entrada 79,006 Tokens de saída 4,696 Tokens de raciocínio 30,281 Tempo de resposta (médio) 12.63s Tempo de resposta (total) 277.88s Tempo de resposta (máx.) 79.40s Resposta incorreta: 4 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 8.2 Chamada de ferramentas : 10.0 Conhecimentos gerais : 4.7
#70#70	Claude Sonnet 5medium	8.2	Anthropic	$0.922	12.54s
Ver cartão do modelo Total de testes 22 Testes errados 7 Confiabilidade 10.0 Taxa de acerto por tentativa 75.8% Testes instáveis 3 Tokens de entrada 145,953 Tokens de saída 52,330 Tokens de raciocínio 10,874 Tempo de resposta (médio) 12.54s Tempo de resposta (total) 275.90s Tempo de resposta (máx.) 66.71s Resposta incorreta: 5 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 10.0 Programação : 9.0 Combinado : 7.3 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.8 Seguimento de instruções : 9.9 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#304#304	KAT-Coder-Air V2.5none	4.8	Kwaipilot	$0.070	12.46s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 36.4% Testes instáveis 7 Tokens de entrada 69,376 Tokens de saída 97,752 Tokens de raciocínio 0 Tempo de resposta (médio) 12.46s Tempo de resposta (total) 274.11s Tempo de resposta (máx.) 121.05s Resposta incorreta: 13 Formatação extra: 3 Erro de API: 1 Truques anti-IA : 5.3 Programação : 3.3 Combinado : 3.8 Análise e extração de dados : 6.3 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 9.9 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#6#6	Gemini 3.7 Flashhigh	9.8	Google	$0.646 ↑	12.22s
Ver cartão do modelo Total de testes 22 Testes errados 2 Confiabilidade 10.0 Taxa de acerto por tentativa 95.5% Testes instáveis 2 Tokens de entrada 86,712 Tokens de saída 6,017 Tokens de raciocínio 148,829 Tempo de resposta (médio) 12.22s Tempo de resposta (total) 268.78s Tempo de resposta (máx.) 91.63s Resposta incorreta: 2 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.8 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 10.0
#134#134	Qwen3.7 Plusnone	7.3	Qwen	$0.106 ↓	12.11s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 54.6% Testes instáveis 0 Tokens de entrada 98,833 Tokens de saída 58,097 Tokens de raciocínio 0 Tempo de resposta (médio) 12.11s Tempo de resposta (total) 266.40s Tempo de resposta (máx.) 206.03s Resposta incorreta: 9 Não seguiu as instruções: 1 Truques anti-IA : 6.5 Programação : 5.5 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.3 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#165#165	GLM 5.3 FlashXhigh	6.8	Z.ai	$0.135	12.07s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 68.2% Testes instáveis 5 Tokens de entrada 81,365 Tokens de saída 6,821 Tokens de raciocínio 77,078 Tempo de resposta (médio) 12.07s Tempo de resposta (total) 265.62s Tempo de resposta (máx.) 91.16s Resposta incorreta: 8 Formatação extra: 1 Não seguiu as instruções: 1 Truques anti-IA : 8.2 Programação : 8.2 Combinado : 3.0 Análise e extração de dados : 7.3 Específico do domínio : 3.6 Inteligência geral : 6.1 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#249#249	Owl Alphamedium	5.6	Openrouter	$0.000	11.95s
Ver cartão do modelo Total de testes 21 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 37.9% Testes instáveis 1 Tokens de entrada 43,478 Tokens de saída 2,974 Tokens de raciocínio 0 Tempo de resposta (médio) 11.95s Tempo de resposta (total) 250.88s Tempo de resposta (máx.) 58.63s Resposta incorreta: 10 Não seguiu as instruções: 2 Erro de API: 1 Truques anti-IA : 4.8 Programação : 5.4 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.3 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#66#66	Muse Spark 1.1low	8.3	Meta	$0.673	11.89s
Ver cartão do modelo Total de testes 22 Testes errados 9 Confiabilidade 10.0 Taxa de acerto por tentativa 71.2% Testes instáveis 4 Tokens de entrada 141,878 Tokens de saída 11,033 Tokens de raciocínio 105,456 Tempo de resposta (médio) 11.89s Tempo de resposta (total) 261.69s Tempo de resposta (máx.) 54.15s Resposta incorreta: 5 Não seguiu as instruções: 3 Chamada de ferramenta inválida: 1 Truques anti-IA : 7.9 Programação : 10.0 Combinado : 6.6 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 10.0 Seguimento de instruções : 7.3 Resolução de quebra-cabeças : 8.3 Chamada de ferramentas : 9.8 Conhecimentos gerais : 3.0
#7#7	Gemini 3.6 Flashmedium	9.8	Google	$0.427 ↓	11.86s
Ver cartão do modelo Total de testes 22 Testes errados 2 Confiabilidade 10.0 Taxa de acerto por tentativa 95.5% Testes instáveis 2 Tokens de entrada 64,446 Tokens de saída 1,974 Tokens de raciocínio 98,902 Tempo de resposta (médio) 11.86s Tempo de resposta (total) 260.96s Tempo de resposta (máx.) 77.15s Resposta incorreta: 2 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.8 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 10.0
#168#168	DeepSeek V4 Pronone	6.8	DeepSeek	$0.196 ↑	11.71s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 47.0% Testes instáveis 4 Tokens de entrada 148,078 Tokens de saída 35,547 Tokens de raciocínio 0 Tempo de resposta (médio) 11.71s Tempo de resposta (total) 257.67s Tempo de resposta (máx.) 119.44s Resposta incorreta: 9 Não seguiu as instruções: 2 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.2 Programação : 5.6 Combinado : 7.9 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#67#67	Claude Fable 5.1medium	8.3	Anthropic	$2.909	11.67s
Ver cartão do modelo Total de testes 22 Testes errados 7 Confiabilidade 10.0 Taxa de acerto por tentativa 81.8% Testes instáveis 6 Tokens de entrada 135,112 Tokens de saída 7,594 Tokens de raciocínio 23,558 Tempo de resposta (médio) 11.67s Tempo de resposta (total) 256.73s Tempo de resposta (máx.) 36.59s Resposta incorreta: 3 Sem resposta: 2 Formatação extra: 1 Não seguiu as instruções: 1 Truques anti-IA : 8.2 Programação : 7.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 7.7 Inteligência geral : 10.0 Seguimento de instruções : 7.3 Resolução de quebra-cabeças : 7.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 2.8
#315#315	Laguna S 2.1none	4.5	Poolside	$0.022 ↓	11.67s
Ver cartão do modelo Total de testes 22 Testes errados 20 Confiabilidade 10.0 Taxa de acerto por tentativa 15.2% Testes instáveis 3 Tokens de entrada 125,604 Tokens de saída 57,634 Tokens de raciocínio 0 Tempo de resposta (médio) 11.67s Tempo de resposta (total) 256.71s Tempo de resposta (máx.) 200.52s Resposta incorreta: 18 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 3.1 Programação : 3.4 Combinado : 2.9 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 4.3 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 4.7 Conhecimentos gerais : 3.0
#15#15	GPT-5.6 Solhigh	9.4	OpenAI	$0.446 ↓	11.48s
Ver cartão do modelo Total de testes 22 Testes errados 4 Confiabilidade 10.0 Taxa de acerto por tentativa 89.4% Testes instáveis 3 Tokens de entrada 79,258 Tokens de saída 4,855 Tokens de raciocínio 23,853 Tempo de resposta (médio) 11.48s Tempo de resposta (total) 252.62s Tempo de resposta (máx.) 54.79s Resposta incorreta: 4 Truques anti-IA : 8.7 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 4.7
#81#81	GPT-5.6 Terrahigh	8.0	OpenAI	$0.836 ↓	11.22s
Ver cartão do modelo Total de testes 22 Testes errados 8 Confiabilidade 10.0 Taxa de acerto por tentativa 68.2% Testes instáveis 2 Tokens de entrada 81,056 Tokens de saída 5,055 Tokens de raciocínio 51,033 Tempo de resposta (médio) 11.22s Tempo de resposta (total) 246.77s Tempo de resposta (máx.) 91.49s Resposta incorreta: 7 Chamada de ferramenta inválida: 1 Truques anti-IA : 8.3 Programação : 7.6 Combinado : 8.7 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.1 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#281#281	Mistral Small 4medium	5.1	Mistral	$0.097	10.80s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 43.9% Testes instáveis 8 Tokens de entrada 140,559 Tokens de saída 40,268 Tokens de raciocínio 93,329 Tempo de resposta (médio) 10.80s Tempo de resposta (total) 237.60s Tempo de resposta (máx.) 59.15s Resposta incorreta: 13 Não seguiu as instruções: 2 Erro de API: 1 Sem resposta: 1 Truques anti-IA : 5.6 Programação : 4.4 Combinado : 3.0 Análise e extração de dados : 7.3 Específico do domínio : 5.9 Inteligência geral : 4.8 Seguimento de instruções : 7.3 Resolução de quebra-cabeças : 3.4 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#296#296	Ling-2.6-flashnone	4.9	Inclusionai	$0.002 ↑	10.71s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 9.6 Taxa de acerto por tentativa 30.3% Testes instáveis 2 Tokens de entrada 114,384 Tokens de saída 14,903 Tokens de raciocínio 0 Tempo de resposta (médio) 10.71s Tempo de resposta (total) 214.28s Tempo de resposta (máx.) 36.03s Resposta incorreta: 9 Chamada de ferramenta inválida: 3 Erro de API: 2 Não seguiu as instruções: 2 Truques anti-IA : 6.8 Programação : 5.3 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 2.9 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#264#264	KAT-Coder-Air V2.5low	5.4	Kwaipilot	$0.046	10.63s
Ver cartão do modelo Total de testes 22 Testes errados 15 Confiabilidade 9.9 Taxa de acerto por tentativa 43.9% Testes instáveis 6 Tokens de entrada 61,094 Tokens de saída 6,532 Tokens de raciocínio 53,882 Tempo de resposta (médio) 10.63s Tempo de resposta (total) 233.77s Tempo de resposta (máx.) 86.23s Resposta incorreta: 7 Formatação extra: 4 Erro de API: 2 Não seguiu as instruções: 2 Truques anti-IA : 7.3 Programação : 3.5 Combinado : 6.4 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#256#256	Qwen3.6 27Bnone	5.5	Qwen	$0.062 ↓	10.62s
Ver cartão do modelo Total de testes 22 Testes errados 15 Confiabilidade 10.0 Taxa de acerto por tentativa 45.5% Testes instáveis 6 Tokens de entrada 95,805 Tokens de saída 16,156 Tokens de raciocínio 0 Tempo de resposta (médio) 10.62s Tempo de resposta (total) 233.68s Tempo de resposta (máx.) 156.31s Resposta incorreta: 11 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 2 Truques anti-IA : 3.8 Programação : 5.5 Combinado : 3.2 Análise e extração de dados : 7.3 Específico do domínio : 7.7 Inteligência geral : 5.2 Seguimento de instruções : 6.2 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 9.5 Conhecimentos gerais : 3.0
#158#158	Claude Fable 5.1low	6.9	Anthropic	$2.565	10.33s
Ver cartão do modelo Total de testes 22 Testes errados 11 Confiabilidade 10.0 Taxa de acerto por tentativa 56.1% Testes instáveis 2 Tokens de entrada 134,582 Tokens de saída 8,955 Tokens de raciocínio 15,420 Tempo de resposta (médio) 10.33s Tempo de resposta (total) 227.37s Tempo de resposta (máx.) 33.10s Formatação extra: 4 Resposta incorreta: 4 Não seguiu as instruções: 3 Truques anti-IA : 6.5 Programação : 3.4 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 4.1 Inteligência geral : 10.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#307#307	Hunter Alphamedium	4.7	OpenRouter	$0.000	10.33s
Ver cartão do modelo Total de testes 18 Testes errados 10 Confiabilidade N/D Taxa de acerto por tentativa 53.0% Testes instáveis 6 Tokens de entrada 28,927 Tokens de saída 4,682 Tokens de raciocínio 17,969 Tempo de resposta (médio) 10.33s Tempo de resposta (total) 175.58s Tempo de resposta (máx.) 30.53s Resposta incorreta: 4 Não seguiu as instruções: 2 Tempo esgotado: 2 Erro de API: 1 Formatação extra: 1 Truques anti-IA : 7.3 Programação : 9.8 Combinado : 2.3 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 7.0 Seguimento de instruções : 9.9 Resolução de quebra-cabeças : 6.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#21#21	Claude Opus 5medium	9.2	Anthropic	$1.586	10.26s
Ver cartão do modelo Total de testes 22 Testes errados 4 Confiabilidade 10.0 Taxa de acerto por tentativa 83.3% Testes instáveis 1 Tokens de entrada 135,604 Tokens de saída 23,814 Tokens de raciocínio 12,804 Tempo de resposta (médio) 10.26s Tempo de resposta (total) 225.66s Tempo de resposta (máx.) 35.43s Resposta incorreta: 3 Sem resposta: 1 Truques anti-IA : 10.0 Programação : 10.0 Combinado : 10.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 10.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#161#161	Gemini 3.5 Flashnone	6.9	Google	$1.093	10.18s
Ver cartão do modelo Total de testes 22 Testes errados 8 Confiabilidade 10.0 Taxa de acerto por tentativa 69.7% Testes instáveis 3 Tokens de entrada 13,852 Tokens de saída 119,100 Tokens de raciocínio 0 Tempo de resposta (médio) 10.18s Tempo de resposta (total) 183.29s Tempo de resposta (máx.) 64.36s Erro de API: 4 Resposta incorreta: 4 Truques anti-IA : 10.0 Programação : 8.8 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 10.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 2.8

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium