Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-09-02 Modelos avaliados: 311

Modelos recomendados

GPT-5.6 Sol high Inteligente Taxa de acerto por tentativa 89.4% Testes corretos 18 / 22 Pontuação 9.4/10 GPT-5.6 Luna medium Rápido Tempo de resposta (médio) 7.43s Total de tokens de saída 44,525 Pontuação 7.4/10 DeepSeek V4 Flash 0731 high Acessível Preço de entrada $0.065 / 1M Preço de saída $0.180 / 1M Pontuação 8.0/10

311/311

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#309#309	Nemotron 3 Nano Omni 30b A3b Reasoningnone	3.2	NVIDIA	$0.000	728ms
Ver cartão do modelo Total de testes 19 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 15.2% Testes instáveis 2 Tokens de entrada 11,661 Tokens de saída 1,302 Tokens de raciocínio 0 Tempo de resposta (médio) 728ms Tempo de resposta (total) 9.47s Tempo de resposta (máx.) 2.21s Resposta incorreta: 9 Erro de API: 6 Não seguiu as instruções: 2 Truques anti-IA : 4.8 Programação : 3.3 Combinado : 1.5 Análise e extração de dados : 3.8 Específico do domínio : 3.6 Inteligência geral : 3.0 Seguimento de instruções : 4.8 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#311#311	LFM2-24B-A2Bnone	2.2	Liquid	$0.001	782ms
Ver cartão do modelo Total de testes 16 Testes errados 14 Confiabilidade N/D Taxa de acerto por tentativa 12.1% Testes instáveis 1 Tokens de entrada 10,771 Tokens de saída 1,173 Tokens de raciocínio 0 Tempo de resposta (médio) 782ms Tempo de resposta (total) 10.94s Tempo de resposta (máx.) 3.15s Resposta incorreta: 9 Erro de API: 4 Não seguiu as instruções: 1 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 1.5 Análise e extração de dados : 3.0 Específico do domínio : 5.9 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.8 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#306#306	Laguna Xs.2none	3.8	Poolside	$0.004 ↕	806ms
Ver cartão do modelo Total de testes 19 Testes errados 14 Confiabilidade 10.0 Taxa de acerto por tentativa 22.7% Testes instáveis 0 Tokens de entrada 33,675 Tokens de saída 2,826 Tokens de raciocínio 0 Tempo de resposta (médio) 806ms Tempo de resposta (total) 12.09s Tempo de resposta (máx.) 2.01s Resposta incorreta: 8 Erro de API: 4 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.0 Programação : 8.3 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 3.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#281#281	Mercury 2none	4.7	Inception	$0.030	825ms
Ver cartão do modelo Total de testes 22 Testes errados 18 Confiabilidade 10.0 Taxa de acerto por tentativa 24.2% Testes instáveis 2 Tokens de entrada 89,637 Tokens de saída 9,584 Tokens de raciocínio 0 Tempo de resposta (médio) 825ms Tempo de resposta (total) 18.14s Tempo de resposta (máx.) 4.52s Resposta incorreta: 17 Não seguiu as instruções: 1 Truques anti-IA : 3.0 Programação : 3.4 Combinado : 3.0 Análise e extração de dados : 7.3 Específico do domínio : 5.9 Inteligência geral : 4.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#293#293	Grok 4.20none	4.1	X AI	$0.057 ↓	1.11s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 27.3% Testes instáveis 0 Tokens de entrada 41,313 Tokens de saída 1,923 Tokens de raciocínio 0 Tempo de resposta (médio) 1.11s Tempo de resposta (total) 19.96s Tempo de resposta (máx.) 6.04s Resposta incorreta: 10 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.8 Programação : 1.1 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#286#286	Grok 4.20 Betanone	4.4	X AI	$0.087 ↓	1.19s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 30.3% Testes instáveis 1 Tokens de entrada 40,597 Tokens de saída 1,657 Tokens de raciocínio 0 Tempo de resposta (médio) 1.19s Tempo de resposta (total) 21.43s Tempo de resposta (máx.) 6.48s Resposta incorreta: 10 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.0 Programação : 1.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#251#251	Mistral Small 4none	5.1	Mistral	$0.022	1.20s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 25.8% Testes instáveis 1 Tokens de entrada 104,717 Tokens de saída 9,812 Tokens de raciocínio 0 Tempo de resposta (médio) 1.20s Tempo de resposta (total) 26.41s Tempo de resposta (máx.) 13.16s Resposta incorreta: 16 Não seguiu as instruções: 1 Truques anti-IA : 3.4 Programação : 3.7 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#299#299	Nemotron 3.5 Lightningnone	4.0	NVIDIA	$0.007 ↕	1.21s
Ver cartão do modelo Total de testes 22 Testes errados 19 Confiabilidade 10.0 Taxa de acerto por tentativa 16.7% Testes instáveis 2 Tokens de entrada 74,074 Tokens de saída 2,731 Tokens de raciocínio 0 Tempo de resposta (médio) 1.21s Tempo de resposta (total) 26.62s Tempo de resposta (máx.) 6.30s Resposta incorreta: 16 Chamada de ferramenta inválida: 2 Não seguiu as instruções: 1 Truques anti-IA : 4.8 Programação : 3.1 Combinado : 3.0 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.4 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#288#288	Elephant Alphanone	4.3	Openrouter	$0.000	1.22s
Ver cartão do modelo Total de testes 21 Testes errados 16 Confiabilidade N/D Taxa de acerto por tentativa 25.8% Testes instáveis 1 Tokens de entrada 33,743 Tokens de saída 2,573 Tokens de raciocínio 0 Tempo de resposta (médio) 1.22s Tempo de resposta (total) 22.03s Tempo de resposta (máx.) 3.81s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 3 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.6 Programação : 4.2 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 4.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#290#290	Elephant Alphamedium	4.3	Openrouter	$0.000	1.27s
Ver cartão do modelo Total de testes 21 Testes errados 15 Confiabilidade N/D Taxa de acerto por tentativa 28.8% Testes instáveis 1 Tokens de entrada 33,744 Tokens de saída 2,596 Tokens de raciocínio 0 Tempo de resposta (médio) 1.27s Tempo de resposta (total) 22.82s Tempo de resposta (máx.) 3.70s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 1 Truques anti-IA : 6.6 Programação : 3.7 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.3 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#260#260	Mercury 2.5 Previewlow	5.0	Inception	$0.011	1.31s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 47.0% Testes instáveis 8 Tokens de entrada 133,525 Tokens de saída 7,259 Tokens de raciocínio 24,716 Tempo de resposta (médio) 1.31s Tempo de resposta (total) 28.77s Tempo de resposta (máx.) 7.29s Resposta incorreta: 12 Não seguiu as instruções: 2 Erro de API: 1 Sem resposta: 1 Truques anti-IA : 5.6 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 6.3 Específico do domínio : 4.1 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 8.2 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#298#298	Granite 4.1 8Bnone	4.0	IBM Granite	$0.007	1.44s
Ver cartão do modelo Total de testes 22 Testes errados 20 Confiabilidade 10.0 Taxa de acerto por tentativa 9.1% Testes instáveis 0 Tokens de entrada 113,836 Tokens de saída 5,996 Tokens de raciocínio 0 Tempo de resposta (médio) 1.44s Tempo de resposta (total) 31.75s Tempo de resposta (máx.) 16.67s Resposta incorreta: 13 Não seguiu as instruções: 4 Chamada de ferramenta inválida: 2 Formatação extra: 1 Truques anti-IA : 4.9 Programação : 4.5 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 3.6 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#236#236	GPT-5.6 Lunanone	5.4	OpenAI	$0.029 ↓	1.50s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 36.4% Testes instáveis 3 Tokens de entrada 101,332 Tokens de saída 6,709 Tokens de raciocínio 0 Tempo de resposta (médio) 1.50s Tempo de resposta (total) 33.05s Tempo de resposta (máx.) 10.57s Resposta incorreta: 14 Formatação extra: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 4.8 Programação : 3.8 Combinado : 3.2 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 5.0 Seguimento de instruções : 7.1 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#241#241	Inkling Smallnone	5.3	Thinkingmachines	$0.054 ↓	1.51s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 24.2% Testes instáveis 1 Tokens de entrada 94,733 Tokens de saída 8,770 Tokens de raciocínio 0 Tempo de resposta (médio) 1.51s Tempo de resposta (total) 33.21s Tempo de resposta (máx.) 12.35s Resposta incorreta: 15 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Truques anti-IA : 3.1 Programação : 3.6 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#242#242	Laguna XS 2.1none	5.3	Poolside	$0.008	1.55s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 30.3% Testes instáveis 3 Tokens de entrada 91,607 Tokens de saída 13,377 Tokens de raciocínio 0 Tempo de resposta (médio) 1.55s Tempo de resposta (total) 34.01s Tempo de resposta (máx.) 19.02s Resposta incorreta: 14 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tempo esgotado: 1 Truques anti-IA : 5.3 Programação : 4.3 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 3.8 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#168#168	Gemini 3.1 Flash Lite Previewnone	6.4	Google	$0.052	1.56s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 57.6% Testes instáveis 1 Tokens de entrada 120,955 Tokens de saída 14,161 Tokens de raciocínio 0 Tempo de resposta (médio) 1.56s Tempo de resposta (total) 34.32s Tempo de resposta (máx.) 9.27s Resposta incorreta: 7 Não seguiu as instruções: 2 Sem resposta: 1 Truques anti-IA : 7.5 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 10.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#207#207	GPT-5.4 Mininone	5.9	OpenAI	$0.095	1.58s
Ver cartão do modelo Total de testes 22 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 31.8% Testes instáveis 2 Tokens de entrada 79,076 Tokens de saída 7,898 Tokens de raciocínio 0 Tempo de resposta (médio) 1.58s Tempo de resposta (total) 34.86s Tempo de resposta (máx.) 9.92s Resposta incorreta: 13 Não seguiu as instruções: 3 Truques anti-IA : 3.1 Programação : 5.5 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 3.6 Inteligência geral : 4.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.4 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#303#303	Grok 4.1 Fastnone	3.8	X AI	$0.008 ↓	1.62s
Ver cartão do modelo Total de testes 19 Testes errados 16 Confiabilidade 10.0 Taxa de acerto por tentativa 19.7% Testes instáveis 3 Tokens de entrada 36,608 Tokens de saída 1,723 Tokens de raciocínio 0 Tempo de resposta (médio) 1.62s Tempo de resposta (total) 19.48s Tempo de resposta (máx.) 5.51s Resposta incorreta: 13 Não seguiu as instruções: 3 Truques anti-IA : 3.2 Programação : 1.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 4.4 Seguimento de instruções : 3.0 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 2.8 Conhecimentos gerais : 3.0
#197#197	GPT-5.6 Terranone	6.0	OpenAI	$0.280 ↓	1.66s
Ver cartão do modelo Total de testes 22 Testes errados 14 Confiabilidade 10.0 Taxa de acerto por tentativa 42.4% Testes instáveis 3 Tokens de entrada 102,268 Tokens de saída 6,221 Tokens de raciocínio 0 Tempo de resposta (médio) 1.66s Tempo de resposta (total) 36.54s Tempo de resposta (máx.) 10.07s Resposta incorreta: 11 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Sem resposta: 1 Truques anti-IA : 4.8 Programação : 5.5 Combinado : 2.9 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 8.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 9.6 Conhecimentos gerais : 3.0
#186#186	Gemini 3.1 Flash Litenone	6.1	Google	$0.046	1.75s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 50.0% Testes instáveis 4 Tokens de entrada 118,059 Tokens de saída 10,723 Tokens de raciocínio 0 Tempo de resposta (médio) 1.75s Tempo de resposta (total) 38.42s Tempo de resposta (máx.) 16.25s Resposta incorreta: 11 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 7.5 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 4.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 6.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#182#182	Gemini 3.1 Flash Liteminimal	6.1	Google	$0.047	1.85s
Ver cartão do modelo Total de testes 22 Testes errados 12 Confiabilidade 10.0 Taxa de acerto por tentativa 51.5% Testes instáveis 3 Tokens de entrada 119,076 Tokens de saída 11,118 Tokens de raciocínio 0 Tempo de resposta (médio) 1.85s Tempo de resposta (total) 40.74s Tempo de resposta (máx.) 12.97s Resposta incorreta: 8 Não seguiu as instruções: 3 Sem resposta: 1 Truques anti-IA : 8.3 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 2.9 Inteligência geral : 4.0 Seguimento de instruções : 10.0 Resolução de quebra-cabeças : 6.0 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#263#263	GPT-4o-mininone	5.0	OpenAI	$0.010	1.92s
Ver cartão do modelo Total de testes 22 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 22.7% Testes instáveis 0 Tokens de entrada 53,145 Tokens de saída 2,913 Tokens de raciocínio 0 Tempo de resposta (médio) 1.92s Tempo de resposta (total) 30.71s Tempo de resposta (máx.) 7.58s Resposta incorreta: 15 Não seguiu as instruções: 1 Sem resposta: 1 Truques anti-IA : 4.8 Programação : 3.2 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.5 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#214#214	Inkling Smalllow	5.7	Thinkingmachines	$0.055 ↓	2.07s
Ver cartão do modelo Total de testes 22 Testes errados 13 Confiabilidade 10.0 Taxa de acerto por tentativa 50.0% Testes instáveis 4 Tokens de entrada 81,447 Tokens de saída 2,715 Tokens de raciocínio 11,971 Tempo de resposta (médio) 2.07s Tempo de resposta (total) 45.64s Tempo de resposta (máx.) 5.82s Resposta incorreta: 9 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 2 Truques anti-IA : 9.2 Programação : 4.6 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.3 Seguimento de instruções : 9.9 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#209#209	GPT-5.4none	5.8	OpenAI	$0.397	2.08s
Ver cartão do modelo Total de testes 22 Testes errados 15 Confiabilidade 10.0 Taxa de acerto por tentativa 34.9% Testes instáveis 2 Tokens de entrada 108,641 Tokens de saída 8,339 Tokens de raciocínio 0 Tempo de resposta (médio) 2.08s Tempo de resposta (total) 45.75s Tempo de resposta (máx.) 15.63s Resposta incorreta: 14 Não seguiu as instruções: 1 Truques anti-IA : 3.2 Programação : 5.5 Combinado : 3.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 4.4 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.6 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#127#127	GPT-5.6 Solnone	7.0	OpenAI	$0.201 ↓	2.17s
Ver cartão do modelo Total de testes 22 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 63.6% Testes instáveis 3 Tokens de entrada 78,602 Tokens de saída 4,357 Tokens de raciocínio 0 Tempo de resposta (médio) 2.17s Tempo de resposta (total) 47.66s Tempo de resposta (máx.) 12.81s Resposta incorreta: 9 Não seguiu as instruções: 1 Truques anti-IA : 8.3 Programação : 5.5 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 5.9 Inteligência geral : 6.5 Seguimento de instruções : 8.5 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0

1 2 13

→

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium