Ember-1 vs Step 3.5 Flash (medium)

Modèles comparés

Modèle recommandé Step 3.5 Flash (medium)

Il obtient le meilleur score ici (5.4) tout en coûtant environ 7.5x moins que Ember-1.

Métrique	Ember-1 Ember-1 none Sortie: 2026-09-28	Step 3.5 Flash Step 3.5 Flash medium Sortie: 2026-02-01

Métrique	Ember-1 Ember-1 none Sortie: 2026-09-28	Step 3.5 Flash Step 3.5 Flash medium Sortie: 2026-02-01
Score	5.4	5.4
Rang	#277	#276
Fiabilité	8.8	10.0
Cohérence	8.6	8.3
Tentatives	69/69	66/69
Tests corrects
Taux de réussite par tentative	43.5%	49.3%
Tests instables	4	3
Exécutions totales	69	66
Coût par résultat	9.817	1.047
Coût total	$0.786	$0.105
Prix d'entrée	$3.000 / 1M	$0.100 / 1M
Prix de sortie	$15.000 / 1M	$0.300 / 1M
Total des jetons d'entrée	202,617	139,086
Jetons de sortie	11,832	193,584
Jetons de raisonnement	0	413,546
Temps de réponse (moy.)	22.65s	190.48s
Temps de réponse (max)	93.12s	1597.85s
Temps de réponse (total)	520.91s	3238.23s
Paramètres	~2.8T au total (~104B actifs)	196B au total (11B actifs)
Disponibilité	Source fermée	Open source

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

none

medium

Catégorie:

Tâches agentiques	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	6.1	3.1	66.7%	1		92.87s	175,191	9,168	0
Step 3.5 Flash	2.8	1.6	33.3%	1		172.16s	73,370	4,160	34,434

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	5.2	7.9	41.7%	1		22.37s	796	867	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	5.5	10.0	33.3%	0		1.94s	7,485	393	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	3.0	10.0	0.0%	0		49.01s	12,162	327	0
Step 3.5 Flash	6.5	10.0	50.0%	0		813.71s	44,914	18,150	111,004

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	6.4	5.9	66.7%	1		35.25s	4,017	161	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	5.3	10.0	33.3%	0		21.61s	804	68	0
Step 3.5 Flash	3.5	4.4	33.3%	2		311.60s	682	126,213	175,555

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	5.0	10.0	0.0%	0		2.28s	540	160	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	6.4	5.8	66.7%	1		31.00s	509	81	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	10.0	10.0	100.0%	0		2.54s	840	569	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	3.0	10.0	0.0%	0		26.44s	0	0	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	3.0	10.0	0.0%	0		1.05s	273	38	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Changer la paire de comparaison