Leaderboard do AI Benchy

Name: Resultados de benchmark de modelos AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-10-17 Modelos avaliados: 442

Modelos recomendados

GPT-6.1 Sol xhigh Inteligente Taxa de acerto por tentativa 97.1% Testes corretos 22 / 23 Pontuação 9.9/10 Gemini 3.7 Flash low Rápido Tempo de resposta (médio) 6.24s Total de tokens de saída 38,453 Pontuação 9.4/10 GPT-6 Luna high Acessível Preço de entrada $0.100 / 1M Preço de saída $0.500 / 1M Preço de leitura do cache $0.010 / 1M Preço de escrita no cache $0.125 / 1M Pontuação 7.7/10

442/442

Posição	Modelo	Pontuação	Empresa	Custo total	Tempo de resposta (médio)
#425#425	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
Ver cartão do modelo Total de testes 12 Testes errados 8 Confiabilidade 10.0 Taxa de acerto por tentativa 17.4% Testes instáveis 0 Tokens de entrada 73,557 Tokens de saída 69 Tokens de raciocínio 0 Tempo de resposta (médio) 320ms Tempo de resposta (total) 3.84s Tempo de resposta (máx.) 491ms Resposta incorreta: 8 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 4.9 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#441#441	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
Ver cartão do modelo Total de testes 7 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 4.4% Testes instáveis 0 Tokens de entrada 103,770 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 363ms Tempo de resposta (total) 2.54s Tempo de resposta (máx.) 1.24s Resposta incorreta: 5 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 3.0 Específico do domínio : 2.0 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#429#429	Jev 1.14default	2.3	Typesafe	$0.003	377ms
Ver cartão do modelo Total de testes 12 Testes errados 8 Confiabilidade 10.0 Taxa de acerto por tentativa 23.2% Testes instáveis 2 Tokens de entrada 67,092 Tokens de saída 18,927 Tokens de raciocínio 0 Tempo de resposta (médio) 377ms Tempo de resposta (total) 4.52s Tempo de resposta (máx.) 546ms Resposta incorreta: 7 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 2.7 Combinado : 0.0 Análise e extração de dados : 7.3 Específico do domínio : 7.7 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#432#432	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
Ver cartão do modelo Total de testes 12 Testes errados 9 Confiabilidade 10.0 Taxa de acerto por tentativa 13.0% Testes instáveis 0 Tokens de entrada 49,176 Tokens de saída 69 Tokens de raciocínio 0 Tempo de resposta (médio) 462ms Tempo de resposta (total) 5.55s Tempo de resposta (máx.) 661ms Resposta incorreta: 9 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 2.2 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#427#427	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
Ver cartão do modelo Total de testes 12 Testes errados 9 Confiabilidade 10.0 Taxa de acerto por tentativa 13.0% Testes instáveis 0 Tokens de entrada 47,583 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 495ms Tempo de resposta (total) 5.94s Tempo de resposta (máx.) 842ms Resposta incorreta: 8 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 2.3 Programação : 2.5 Combinado : 0.0 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#440#440	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
Ver cartão do modelo Total de testes 7 Testes errados 4 Confiabilidade 10.0 Taxa de acerto por tentativa 13.0% Testes instáveis 0 Tokens de entrada 33,864 Tokens de saída 96 Tokens de raciocínio 0 Tempo de resposta (médio) 498ms Tempo de resposta (total) 3.49s Tempo de resposta (máx.) 602ms Resposta incorreta: 4 Tarefas de agentes : 0.0 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 3.0 Específico do domínio : 6.7 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#434#434	D1default	1.9	Liquid	$0.003	508ms
Ver cartão do modelo Total de testes 12 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 11.6% Testes instáveis 1 Tokens de entrada 55,956 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 508ms Tempo de resposta (total) 6.10s Tempo de resposta (máx.) 820ms Resposta incorreta: 10 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 2.2 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 3.6 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#424#424	Decider V1.2default	2.6	Perplexity	$0.001	517ms
Ver cartão do modelo Total de testes 12 Testes errados 7 Confiabilidade 9.4 Taxa de acerto por tentativa 24.6% Testes instáveis 1 Tokens de entrada 48,363 Tokens de saída 67 Tokens de raciocínio 0 Tempo de resposta (médio) 517ms Tempo de resposta (total) 6.20s Tempo de resposta (máx.) 776ms Resposta incorreta: 5 Erro de API: 1 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 5.8 Programação : 4.5 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.9 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#421#421	d1-ultradefault	2.7	Liquid	$0.003	531ms
Ver cartão do modelo Total de testes 12 Testes errados 8 Confiabilidade 10.0 Taxa de acerto por tentativa 20.3% Testes instáveis 1 Tokens de entrada 55,956 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 531ms Tempo de resposta (total) 6.38s Tempo de resposta (máx.) 697ms Resposta incorreta: 7 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 5.3 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#423#423	Jev 1.13default	2.6	Typesafe	$0.003	698ms
Ver cartão do modelo Total de testes 12 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 26.1% Testes instáveis 0 Tokens de entrada 67,092 Tokens de saída 18,927 Tokens de raciocínio 0 Tempo de resposta (médio) 698ms Tempo de resposta (total) 8.38s Tempo de resposta (máx.) 1.08s Resposta incorreta: 6 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 2.2 Combinado : 0.0 Análise e extração de dados : 10.0 Específico do domínio : 7.7 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 3.3 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Ver cartão do modelo Total de testes 19 Testes errados 17 Confiabilidade 10.0 Taxa de acerto por tentativa 14.5% Testes instáveis 2 Tokens de entrada 11,661 Tokens de saída 1,302 Tokens de raciocínio 0 Tempo de resposta (médio) 728ms Tempo de resposta (total) 9.47s Tempo de resposta (máx.) 2.21s Resposta incorreta: 9 Erro de API: 6 Não seguiu as instruções: 2 Tarefas de agentes : 0.0 Truques anti-IA : 4.8 Programação : 3.3 Combinado : 1.5 Análise e extração de dados : 3.8 Específico do domínio : 3.6 Inteligência geral : 3.0 Seguimento de instruções : 4.8 Resolução de quebra-cabeças : 3.0 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
Ver cartão do modelo Total de testes 16 Testes errados 14 Confiabilidade N/D Taxa de acerto por tentativa 11.6% Testes instáveis 1 Tokens de entrada 10,771 Tokens de saída 1,173 Tokens de raciocínio 0 Tempo de resposta (médio) 782ms Tempo de resposta (total) 10.94s Tempo de resposta (máx.) 3.15s Resposta incorreta: 9 Erro de API: 4 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 2.5 Programação : 0.0 Combinado : 1.5 Análise e extração de dados : 3.0 Específico do domínio : 5.9 Inteligência geral : 4.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.8 Chamada de ferramentas : 3.0 Conhecimentos gerais : 0.0
#416#416	Laguna Xs.2default	3.1	Poolside	$0.004 ↕	806ms
Ver cartão do modelo Total de testes 19 Testes errados 14 Confiabilidade 10.0 Taxa de acerto por tentativa 21.7% Testes instáveis 0 Tokens de entrada 33,675 Tokens de saída 2,826 Tokens de raciocínio 0 Tempo de resposta (médio) 806ms Tempo de resposta (total) 12.09s Tempo de resposta (máx.) 2.01s Resposta incorreta: 8 Erro de API: 4 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 0.0 Truques anti-IA : 3.0 Programação : 0.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 3.0 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#431#431	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
Ver cartão do modelo Total de testes 12 Testes errados 10 Confiabilidade 10.0 Taxa de acerto por tentativa 8.7% Testes instáveis 0 Tokens de entrada 70,125 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 880ms Tempo de resposta (total) 10.56s Tempo de resposta (máx.) 1.31s Resposta incorreta: 9 Não seguiu as instruções: 1 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 2.5 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Ver cartão do modelo Total de testes 12 Testes errados 11 Confiabilidade 10.0 Taxa de acerto por tentativa 7.3% Testes instáveis 1 Tokens de entrada 41,466 Tokens de saída 69 Tokens de raciocínio 0 Tempo de resposta (médio) 982ms Tempo de resposta (total) 11.78s Tempo de resposta (máx.) 1.41s Resposta incorreta: 11 Tarefas de agentes : 0.0 Truques anti-IA : 4.4 Programação : 2.2 Combinado : 0.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.7 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#426#426	Drex v1.5default	2.4	Nace AI	$0.002	986ms
Ver cartão do modelo Total de testes 12 Testes errados 8 Confiabilidade 10.0 Taxa de acerto por tentativa 17.4% Testes instáveis 0 Tokens de entrada 42,804 Tokens de saída 27,468 Tokens de raciocínio 0 Tempo de resposta (médio) 986ms Tempo de resposta (total) 11.84s Tempo de resposta (máx.) 1.38s Resposta incorreta: 8 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 4.5 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#407#407	Grok 4.20none	3.4	X AI	$0.057 ↓	1.11s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 26.1% Testes instáveis 0 Tokens de entrada 41,313 Tokens de saída 1,923 Tokens de raciocínio 0 Tempo de resposta (médio) 1.11s Tempo de resposta (total) 19.96s Tempo de resposta (máx.) 6.04s Resposta incorreta: 10 Formatação extra: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 0.0 Truques anti-IA : 4.8 Programação : 1.1 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 4.8 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#382#382	Mercury 2none	4.4	Inception	$0.033	1.18s
Ver cartão do modelo Total de testes 23 Testes errados 19 Confiabilidade 10.0 Taxa de acerto por tentativa 23.2% Testes instáveis 2 Tokens de entrada 100,634 Tokens de saída 9,609 Tokens de raciocínio 100 Tempo de resposta (médio) 1.18s Tempo de resposta (total) 27.14s Tempo de resposta (máx.) 9.00s Resposta incorreta: 17 Não seguiu as instruções: 2 Tarefas de agentes : 3.0 Truques anti-IA : 3.0 Programação : 3.4 Combinado : 3.0 Análise e extração de dados : 7.3 Específico do domínio : 5.9 Inteligência geral : 4.8 Seguimento de instruções : 6.5 Resolução de quebra-cabeças : 3.1 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#402#402	Grok 4.20 Betadefault	3.6	X AI	$0.087 ↓	1.19s
Ver cartão do modelo Total de testes 18 Testes errados 12 Confiabilidade N/D Taxa de acerto por tentativa 29.0% Testes instáveis 1 Tokens de entrada 40,597 Tokens de saída 1,657 Tokens de raciocínio 0 Tempo de resposta (médio) 1.19s Tempo de resposta (total) 21.43s Tempo de resposta (máx.) 6.48s Resposta incorreta: 10 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 0.0 Truques anti-IA : 4.0 Programação : 1.8 Combinado : 1.5 Análise e extração de dados : 10.0 Específico do domínio : 3.0 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 7.7 Chamada de ferramentas : 10.0 Conhecimentos gerais : 0.0
#404#404	Elephant Alphadefault	3.6	Openrouter	$0.000	1.22s
Ver cartão do modelo Total de testes 21 Testes errados 16 Confiabilidade N/D Taxa de acerto por tentativa 24.6% Testes instáveis 1 Tokens de entrada 33,743 Tokens de saída 2,573 Tokens de raciocínio 0 Tempo de resposta (médio) 1.22s Tempo de resposta (total) 22.03s Tempo de resposta (máx.) 3.81s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 3 Chamada de ferramenta inválida: 1 Tarefas de agentes : 0.0 Truques anti-IA : 6.6 Programação : 4.2 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 4.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#405#405	Elephant Alphamedium	3.5	Openrouter	$0.000	1.27s
Ver cartão do modelo Total de testes 21 Testes errados 15 Confiabilidade N/D Taxa de acerto por tentativa 27.5% Testes instáveis 1 Tokens de entrada 33,744 Tokens de saída 2,596 Tokens de raciocínio 0 Tempo de resposta (médio) 1.27s Tempo de resposta (total) 22.82s Tempo de resposta (máx.) 3.70s Resposta incorreta: 9 Erro de API: 3 Não seguiu as instruções: 2 Chamada de ferramenta inválida: 1 Tarefas de agentes : 0.0 Truques anti-IA : 6.6 Programação : 3.7 Combinado : 1.5 Análise e extração de dados : 6.5 Específico do domínio : 3.0 Inteligência geral : 4.3 Seguimento de instruções : 9.8 Resolução de quebra-cabeças : 5.3 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0
#437#437	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
Ver cartão do modelo Total de testes 7 Testes errados 4 Confiabilidade 10.0 Taxa de acerto por tentativa 13.0% Testes instáveis 0 Tokens de entrada 47,586 Tokens de saída 51 Tokens de raciocínio 0 Tempo de resposta (médio) 1.33s Tempo de resposta (total) 9.32s Tempo de resposta (máx.) 1.66s Resposta incorreta: 4 Tarefas de agentes : 0.0 Truques anti-IA : 0.8 Programação : 0.0 Combinado : 0.0 Análise e extração de dados : 10.0 Específico do domínio : 4.4 Inteligência geral : 0.0 Seguimento de instruções : 1.5 Resolução de quebra-cabeças : 1.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#419#419	Span-02default	2.8	Respan	$0.001	1.36s
Ver cartão do modelo Total de testes 12 Testes errados 6 Confiabilidade 10.0 Taxa de acerto por tentativa 26.1% Testes instáveis 0 Tokens de entrada 70,626 Tokens de saída 0 Tokens de raciocínio 0 Tempo de resposta (médio) 1.36s Tempo de resposta (total) 16.37s Tempo de resposta (máx.) 5.71s Resposta incorreta: 6 Tarefas de agentes : 0.0 Truques anti-IA : 5.8 Programação : 4.9 Combinado : 0.0 Análise e extração de dados : 6.5 Específico do domínio : 5.3 Inteligência geral : 0.0 Seguimento de instruções : 5.0 Resolução de quebra-cabeças : 1.0 Chamada de ferramentas : 0.0 Conhecimentos gerais : 0.0
#396#396	Granite 4.1 8bdefault	3.8	IBM Granite	$0.007	1.38s
Ver cartão do modelo Total de testes 23 Testes errados 21 Confiabilidade 10.0 Taxa de acerto por tentativa 8.7% Testes instáveis 0 Tokens de entrada 113,836 Tokens de saída 5,996 Tokens de raciocínio 0 Tempo de resposta (médio) 1.38s Tempo de resposta (total) 31.81s Tempo de resposta (máx.) 16.67s Resposta incorreta: 13 Não seguiu as instruções: 4 Chamada de ferramenta inválida: 2 Erro de API: 1 Formatação extra: 1 Tarefas de agentes : 3.0 Truques anti-IA : 4.9 Programação : 4.5 Combinado : 3.0 Análise e extração de dados : 3.0 Específico do domínio : 3.0 Inteligência geral : 4.0 Seguimento de instruções : 3.6 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 10.0 Conhecimentos gerais : 3.0
#347#347	Inkling Smallnone	4.9	Thinkingmachines	$0.054 ↓	1.45s
Ver cartão do modelo Total de testes 23 Testes errados 18 Confiabilidade 10.0 Taxa de acerto por tentativa 23.2% Testes instáveis 1 Tokens de entrada 94,733 Tokens de saída 7,087 Tokens de raciocínio 1,683 Tempo de resposta (médio) 1.45s Tempo de resposta (total) 33.24s Tempo de resposta (máx.) 12.35s Resposta incorreta: 15 Erro de API: 1 Não seguiu as instruções: 1 Chamada de ferramenta inválida: 1 Tarefas de agentes : 3.0 Truques anti-IA : 3.1 Programação : 3.6 Combinado : 6.5 Análise e extração de dados : 10.0 Específico do domínio : 5.3 Inteligência geral : 5.0 Seguimento de instruções : 6.3 Resolução de quebra-cabeças : 3.2 Chamada de ferramentas : 3.0 Conhecimentos gerais : 3.0

1 2 18

→

Tendências globais do benchmark

Veja como os modelos atuais equilibram pontuação, custo, velocidade, comprimento da saída e desempenho por categoria.

Gráficos →

Fronteira de Pareto: inteligência vs custo

Evolução da melhor pontuação das empresas líderes

Fronteira de Pareto: inteligência vs velocidade de resposta

Fronteira de Pareto: pontuação vs tokens de saída

Dificuldade das categorias entre os modelos

Comparação rápida

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow