Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-09-22 Modelos avaliados: 343

Modelos recomendados

GPT-6 Astra xhigh Inteligente Taxa de acerto por tentativa 97.0% Testes corretos 21 / 22 Pontuação 9.9/10 GPT-5.6 Luna medium Rápido Tempo de resposta (médio) 7.43s Total de tokens de saída 44,525 Pontuação 7.4/10 DeepSeek V4 Flash 0731 high Acessível Preço de entrada $0.040 / 1M Preço de saída $0.640 / 1M Pontuação 8.0/10

343/343

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#192#192	Gemini 3.1 Flash Lite Previewnone	6.4	Google	$0.052	1.56s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 57.6% Testes instáveis 1 Tokens de entrada 120,955 Tokens de saída 14,161 Tokens de raciocínio 0 Tempo de resposta (médio) 1.56s Tempo de resposta (total) 34.32s Tempo de resposta (máx.) 9.27s Resposta incorreta: 7 Não seguiu as instruções: 2 Sem resposta: 1 Truques anti-IA : 7.5 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#271#271	Laguna XS 2.1none	5.3	Poolside	$0.008	1.55s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 30.3% Testes instáveis 3 Tokens de entrada 91,607 Tokens de saída 13,377 Tokens de raciocínio 0 Tempo de resposta (médio) 1.55s Tempo de resposta (total) 34.01s Tempo de resposta (máx.) 19.02s Resposta incorreta: 14 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tempo esgotado: 1 Truques anti-IA : 5.3 Programação : 4.3 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 3.8 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#270#270	Inkling Smallnone	5.3	Thinkingmachines	$0.054 ↓	1.51s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 24.2% Testes instáveis 1 Tokens de entrada 94,733 Tokens de saída 8,770 Tokens de raciocínio 0 Tempo de resposta (médio) 1.51s Tempo de resposta (total) 33.21s Tempo de resposta (máx.) 12.35s Resposta incorreta: 15 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.1 Programação : 3.6 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#265#265	GPT-5.6 Lunanone	5.4	OpenAI	$0.029 ↓	1.50s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 36.4% Testes instáveis 3 Tokens de entrada 101,332 Tokens de saída 6,709 Tokens de raciocínio 0 Tempo de resposta (médio) 1.50s Tempo de resposta (total) 33.05s Tempo de resposta (máx.) 10.57s Resposta incorreta: 14 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.8 Programação : 3.8 Combinado : 3.2 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 5.0 Seguimento de instruções : 7.1 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#328#328	Granite 4.1 8Bnone	4.0	IBM Granite	$0.007	1.44s
Ver cartão do modelo Total de testes 22 Testes errados 20 Confiabilidade 10.0 Taxa de acerto por tentativa 9.1% Testes instáveis 0 Tokens de entrada 113,836 Tokens de saída 5,996 Tokens de raciocínio 0 Tempo de resposta (médio) 1.44s Tempo de resposta (total) 31.75s Tempo de resposta (máx.) 16.67s Resposta incorreta: 13 Não seguiu as instruções: 4 Chamada de ferramenta inválida: 2 Formatação extra: 1 Truques anti-IA : 4.9 Programação : 4.5 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 3.6 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#284#284	Mercury 2.5low	5.1	Inception	$0.011	1.35s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 9.8 Taxa de acerto por tentativa 39.4% Testes instáveis 5 Tokens de entrada 138,020 Tokens de saída 6,083 Tokens de raciocínio 27,636 Tempo de resposta (médio) 1.35s Tempo de resposta (total) 29.74s Tempo de resposta (máx.) 7.48s Resposta incorreta: 14 Erro de API: 1 Sem resposta: 1 Truques anti-IA : 6.9 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 3.6 Inteligência geral : 4.4 Seguimento de instruções : 2.9 Resolução de quebra-cabeças : 5.9 Chamada de ferramentas : 9.8 Conhecimentos gerais : 3.0
#290#290	Mercury 2.5 Previewlow	5.0	Inception	$0.011	1.31s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 47.0% Testes instáveis 8 Tokens de entrada 133,525 Tokens de saída 7,259 Tokens de raciocínio 24,716 Tempo de resposta (médio) 1.31s Tempo de resposta (total) 28.77s Tempo de resposta (máx.) 7.29s Resposta incorreta: 12 Não seguiu as instruções: 2 Erro de API: 1 Sem resposta: 1 Truques anti-IA : 5.6 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 6.3 Específico do domínio : 4.1 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 8.2 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#320#320	Elephant Alphamedium	4.3	Openrouter	$0.000	1.27s
Ver cartão do modelo Total de testes 21 Testes errados 15 Confiabilidade N/D Taxa de acerto por tentativa 28.8% Testes instáveis 1 Tokens de entrada 33,744 Tokens de saída 2,596 Tokens de raciocínio 0 Tempo de resposta (médio) 1.27s Tempo de resposta (total) 22.82s Tempo de resposta (máx.) 3.70s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.6 Programação : 3.7 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.3 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#318#318	Elephant Alphanone	4.3	Openrouter	$0.000	1.22s
Ver cartão do modelo Total de testes 21 Testes errados 16 Confiabilidade N/D Taxa de acerto por tentativa 25.8% Testes instáveis 1 Tokens de entrada 33,743 Tokens de saída 2,573 Tokens de raciocínio 0 Tempo de resposta (médio) 1.22s Tempo de resposta (total) 22.03s Tempo de resposta (máx.) 3.81s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 3 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.6 Programação : 4.2 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 4.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#329#329	Nemotron 3.5 Lightningnone	4.0	NVIDIA	$0.006 ↕	1.21s
Ver cartão do modelo Total de testes 22 Testes errados 19 Confiabilidade 10.0 Taxa de acerto por tentativa 16.7% Testes instáveis 2 Tokens de entrada 74,074 Tokens de saída 2,731 Tokens de raciocínio 0 Tempo de resposta (médio) 1.21s Tempo de resposta (total) 26.62s Tempo de resposta (máx.) 6.30s Resposta incorreta: 16 Chamada de ferramenta inválida: 2 Não seguiu as instruções: 1 Truques anti-IA : 4.8 Programação : 3.1 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.4 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#280#280	Mistral Small 4none	5.1	Mistral	$0.022	1.20s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 25.8% Testes instáveis 1 Tokens de entrada 104,717 Tokens de saída 9,812 Tokens de raciocínio 0 Tempo de resposta (médio) 1.20s Tempo de resposta (total) 26.41s Tempo de resposta (máx.) 13.16s Resposta incorreta: 16 Não seguiu as instruções: 1 Truques anti-IA : 3.4 Programação : 3.7 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#316#316	Grok 4.20 Betanone	4.4	X AI	$0.087 ↓	1.19s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 30.3% Testes instáveis 1 Tokens de entrada 40,597 Tokens de saída 1,657 Tokens de raciocínio 0 Tempo de resposta (médio) 1.19s Tempo de resposta (total) 21.43s Tempo de resposta (máx.) 6.48s Resposta incorreta: 10 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.0 Programação : 1.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#323#323	Grok 4.20none	4.1	X AI	$0.057 ↓	1.11s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 27.3% Testes instáveis 0 Tokens de entrada 41,313 Tokens de saída 1,923 Tokens de raciocínio 0 Tempo de resposta (médio) 1.11s Tempo de resposta (total) 19.96s Tempo de resposta (máx.) 6.04s Resposta incorreta: 10 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.8 Programação : 1.1 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#311#311	Mercury 2none	4.7	Inception	$0.030	825ms
Ver cartão do modelo Total de testes 22 Testes errados 18 Confiabilidade 10.0 Taxa de acerto por tentativa 24.2% Testes instáveis 2 Tokens de entrada 89,637 Tokens de saída 9,584 Tokens de raciocínio 0 Tempo de resposta (médio) 825ms Tempo de resposta (total) 18.14s Tempo de resposta (máx.) 4.52s Resposta incorreta: 17 Não seguiu as instruções: 1 Truques anti-IA : 3.0 Programação : 3.4 Combinado : 3.0 Análise e extração de dados : 7.3 Específico do domínio : 5.9 Inteligência geral : 4.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#337#337	Laguna Xs.2none	3.8	Poolside	$0.004 ↕	806ms
Ver cartão do modelo Total de testes 19 Testes errados 14 Confiabilidade 10.0 Taxa de acerto por tentativa 22.7% Testes instáveis 0 Tokens de entrada 33,675 Tokens de saída 2,826 Tokens de raciocínio 0 Tempo de resposta (médio) 806ms Tempo de resposta (total) 12.09s Tempo de resposta (máx.) 2.01s Resposta incorreta: 8 Erro de API: 4 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.0 Programação : 8.3 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 3.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#343#343	LFM2-24B-A2Bnone	2.2	Liquid	$0.001	782ms
Ver cartão do modelo Total de testes 16 Testes errados 14 Confiabilidade N/D Taxa de acerto por tentativa 12.1% Testes instáveis 1 Tokens de entrada 10,771 Tokens de saída 1,173 Tokens de raciocínio 0 Tempo de resposta (médio) 782ms Tempo de resposta (total) 10.94s Tempo de resposta (máx.) 3.15s Resposta incorreta: 9 Erro de API: 4 Não seguiu as instruções: 1 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 1.5 Análise e extração de dados : 3.0 Específico do domínio : 5.9 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.8 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#340#340	Nemotron 3 Nano Omni 30b A3b Reasoningnone	3.2	NVIDIA	$0.000	728ms
Ver cartão do modelo Total de testes 19 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 15.2% Testes instáveis 2 Tokens de entrada 11,661 Tokens de saída 1,302 Tokens de raciocínio 0 Tempo de resposta (médio) 728ms Tempo de resposta (total) 9.47s Tempo de resposta (máx.) 2.21s Resposta incorreta: 9 Erro de API: 6 Não seguiu as instruções: 2 Truques anti-IA : 4.8 Programação : 3.3 Combinado : 1.5 Análise e extração de dados : 3.8 Específico do domínio : 3.6 Inteligência geral : 3.0 Seguimento de instruções : 4.8 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#341#341	Jev 1.13none	3.2	Typesafe	$0.003	698ms
Ver cartão do modelo Total de testes 12 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 27.3% Testes instáveis 0 Tokens de entrada 67,092 Tokens de saída 18,927 Tokens de raciocínio 0 Tempo de resposta (médio) 698ms Tempo de resposta (total) 8.38s Tempo de resposta (máx.) 1.08s Resposta incorreta: 6 Truques anti-IA : 4.0 Programação : 2.2 Combinado : 0.0 Análise e extração de dados : 10.0 Específico do domínio : 7.7 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 3.3 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0

←

1 13 14

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium