Navegação
AI BENCHY
Your ad here

AI BENCHY Compare

Modelos comparados

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-03-12

Métrica xAI: Grok 4.20 Beta Grok 4.20 Beta medium Lançamento: 2026-03-12 xAI: Grok 4.20 Multi-Agent Beta Grok 4.20 Multi-Agent Beta medium Lançamento: 2026-03-12 xAI: Grok 4.1 Fast Grok 4.1 Fast medium Lançamento: 2025-11-19 Google: Gemini 3 Flash Preview Gemini 3 Flash Preview medium Lançamento: 2025-12-17
Posição #24 #47 #32 #1
Pontuação média 7.0 4.9 6.2 10.0
Consistência 9.0 7.1 7.9 10.0
Custo por resultado 5.989 97.178 0.563 1.025
Custo total $0.599 $4.859 $0.051 $0.164
Testes corretos
Taxa de acerto por tentativa 70.8% 52.1% 66.7% 100.0%
Testes instáveis 2 6 4 0
Execuções totais 48 48 48 48
Tokens de saída 1,481 293,634 1,183 1,634
Tokens de raciocínio 86,628 291,260 83,875 47,907
Tempo de resposta (médio) 8.89s 9.08s 26.35s 12.36s
Tempo de resposta (máx.) 24.21s 35.28s 121.79s 50.16s
Tempo de resposta (total) 142.18s 127.09s 237.11s 111.21s

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação média vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação média vs Total de tokens de saída

Detalhamento por categoria

Truques anti-IA Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 7.0 7.2 88.9% 1 3.19s 262 6,289
Grok 4.20 Multi-Agent Beta 4.0 4.4 66.7% 2 3.77s 28,392 27,808
Grok 4.1 Fast 10.0 10.0 100.0% 0 5.65s 102 4,021
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 5.61s 299 3,127
Combinado Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 10.0 10.0 100.0% 0 20.93s 227 12,212
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 10.0 100.0% 0 37.64s 261 12,272
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 50.16s 351 12,645
Análise e extração de dados Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 9.9 10.0 100.0% 0 4.01s 180 5,281
Grok 4.20 Multi-Agent Beta 9.9 10.0 100.0% 0 5.54s 25,306 25,051
Grok 4.1 Fast 9.9 10.0 100.0% 0 6.63s 180 5,409
Gemini 3 Flash Preview 9.9 10.0 100.0% 0 4.72s 279 5,333
Específico do domínio Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 4.0 10.0 33.3% 0 21.33s 251 40,255
Grok 4.20 Multi-Agent Beta 10.0 7.2 11.1% 1 24.67s 164,609 163,647
Grok 4.1 Fast 4.0 4.4 66.7% 2 121.79s 11 37,657
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 21.12s 12 14,908
Inteligência geral Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 10.0 10.0 100.0% 0 5.78s 72 3,440
Grok 4.20 Multi-Agent Beta 4.0 2.8 66.7% 1 6.40s 15,848 15,746
Grok 4.1 Fast 3.0 9.9 0.0% 0 16.25s 127 3,456
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.09s 111 1,285
Seguimento de instruções Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 9.0 10.0 50.0% 0 4.97s 57 7,107
Grok 4.20 Multi-Agent Beta 9.0 10.0 50.0% 0 4.63s 25,457 25,322
Grok 4.1 Fast 5.5 10.0 50.0% 0 5.30s 55 3,489
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 6.10s 72 4,558
Puzzle Solving Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 7.0 7.2 88.9% 1 3.85s 249 6,660
Grok 4.20 Multi-Agent Beta 6.3 5.1 77.8% 2 5.01s 34,022 33,686
Grok 4.1 Fast 4.0 7.2 44.4% 1 8.08s 187 6,086
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.43s 276 4,921
Chamada de ferramentas Pontuação Consistência Taxa de acerto por tentativa Testes instáveis Testes corretos Tempo de resposta (médio) Tokens de saída Tokens de raciocínio
Grok 4.20 Beta 10.0 10.0 0.0% 0 12.39s 183 5,384
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 1.6 33.3% 1 27.71s 260 11,485
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 10.55s 234 1,130

Comparação rápida

Trocar par de comparação

Qwen3.5 Plus 2026-02-15nonevsGrok 4.1 FastmediumQwen3.5-27BnonevsGrok 4.20 Multi-Agent BetamediumSeed-2.0-LitenonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewnonevsGrok 4.20 BetamediumQwen3.5-122B-A10BnonevsGrok 4.20 Multi-Agent BetamediumGrok 4.1 FastmediumvsGLM 5noneQwen3.5-35B-A3BnonevsGrok 4.20 Multi-Agent BetamediumGemini 3 Flash PreviewnonevsGrok 4.20 BetamediumClaude Sonnet 4.6nonevsGrok 4.20 BetamediumGPT-5.3 ChatnonevsGrok 4.20 BetamediumGemini 2.5 FlashnonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewlowvsGrok 4.20 Betamedium