Ember-1 (max) vs Grok Build 0.1 (medium)

Modelos comparados

Modelo recomendado Grok Build 0.1 (medium)

Tem a melhor pontuação aqui (6.7) e custa cerca de 2.3x menos que Ember-1 (max).

Métrica	Ember-1 Ember-1 max Lançamento: 2026-09-28	Grok Build 0.1 Grok Build 0.1 medium Lançamento: 2026-05-21

Métrica	Ember-1 Ember-1 max Lançamento: 2026-09-28	Grok Build 0.1 Grok Build 0.1 medium Lançamento: 2026-05-21
Pontuação	6.7	6.7
Posição	#181	#176
Confiabilidade	8.3	10.0
Consistência	7.8	9.6
Tentativas	69/69	69/69
Testes corretos
Taxa de acerto por tentativa	59.4%	58.0%
Testes instáveis	6	1
Execuções totais	69	69
Custo por resultado	29.671	10.910
Custo total	$3.264	$1.419
Preço de entrada	$3.000 / 1M	$1.000 / 1M
Preço de saída	$15.000 / 1M	$2.000 / 1M
Total de tokens de entrada	153,399	358,616
Tokens de saída	7,803	9,651
Tokens de raciocínio	179,098	520,155
Tempo de resposta (médio)	97.34s	55.13s
Tempo de resposta (máx.)	587.08s	252.69s
Tempo de resposta (total)	2238.73s	1268.10s
Parâmetros	~2.8T no total (~104B ativos)	~300B no total (~30B ativos)
Disponibilidade	Código fechado	Código fechado

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

medium

Categoria:

Tarefas de agentes	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	10.0	10.0	100.0%	0		62.53s	126,950	3,620	2,475
Grok Build 0.1	3.4	9.6	0.0%	0		69.03s	251,670	1,658	16,742

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
Grok Build 0.1	8.3	10.0	75.0%	0		7.43s	2,010	220	12,162

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
Grok Build 0.1	5.7	9.7	33.3%	0		108.46s	8,304	1,138	161,452

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
Grok Build 0.1	10.0	10.0	100.0%	0		65.08s	75,242	5,442	65,569

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
Grok Build 0.1	10.0	10.0	100.0%	0		10.72s	7,761	180	8,876

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
Grok Build 0.1	2.9	7.2	11.1%	1		175.94s	1,959	492	192,037

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
Grok Build 0.1	4.4	9.9	0.0%	0		18.41s	825	76	6,345

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
Grok Build 0.1	9.8	10.0	100.0%	0		12.36s	1,362	57	9,599

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
Grok Build 0.1	7.7	10.0	66.7%	0		18.26s	1,689	195	20,841

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
Grok Build 0.1	10.0	10.0	100.0%	0		13.12s	7,263	180	4,969

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
Grok Build 0.1	3.0	10.0	0.0%	0		53.51s	531	13	21,563

Trocar par de comparação