Ember-1 vs Mistral Small 4 (medium)

Modelos comparados

Modelo recomendado Mistral Small 4 (medium)

Tem a melhor pontuação aqui (5.1) e responde cerca de 1.8x mais rápido que Ember-1.

Métrica	Ember-1 Ember-1 none Lançamento: 2026-09-28	Mistral Small 4 Mistral Small 4 medium Lançamento: 2026-03-16

Métrica	Ember-1 Ember-1 none Lançamento: 2026-09-28	Mistral Small 4 Mistral Small 4 medium Lançamento: 2026-03-16
Pontuação	5.2	5.1
Posição	#297	#301
Confiabilidade	8.1	10.0
Consistência	8.9	7.0
Tentativas	66/66	66/66
Testes corretos
Taxa de acerto por tentativa	42.4%	43.9%
Testes instáveis	3	8
Execuções totais	66	66
Custo por resultado	1.528	1.923
Custo total	$0.123	$0.097
Preço de entrada	$3.000 / 1M	$0.150 / 1M
Preço de saída	$15.000 / 1M	$0.600 / 1M
Total de tokens de entrada	27,426	140,559
Tokens de saída	2,664	40,268
Tokens de raciocínio	0	93,329
Tempo de resposta (médio)	19.46s	10.80s
Tempo de resposta (máx.)	93.12s	59.15s
Tempo de resposta (total)	428.04s	237.60s
Parâmetros	~2.8T no total (~104B ativos)	119B no total (6B ativos)
Disponibilidade	Código fechado	Código aberto

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

none

medium

Categoria:

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	5.2	7.9	41.7%	1		22.37s	796	867	0
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	5.5	10.0	33.3%	0		1.94s	7,485	393	0
Mistral Small 4	4.4	5.1	33.3%	2		39.98s	7,636	11,635	54,715

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	3.0	10.0	0.0%	0		49.01s	12,162	327	0
Mistral Small 4	3.0	10.0	0.0%	0		32.40s	116,624	17,890	18,384

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	6.4	5.9	66.7%	1		35.25s	4,017	161	0
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	5.3	10.0	33.3%	0		21.61s	804	68	0
Mistral Small 4	5.9	7.2	55.6%	1		6.33s	807	3,427	7,871

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	5.0	10.0	0.0%	0		2.28s	540	160	0
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	6.4	5.8	66.7%	1		31.00s	509	81	0
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	10.0	10.0	100.0%	0		2.54s	840	569	0
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	3.0	10.0	0.0%	0		26.44s	0	0	0
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
Ember-1	3.0	10.0	0.0%	0		1.05s	273	38	0
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557

Trocar par de comparação