Ember-1 (max) vs Step 3.5 Flash (medium)

Modèles comparés

Modèle recommandé Step 3.5 Flash (medium)

Il obtient le meilleur score ici (5.9) tout en coûtant environ 21.3x moins que Ember-1 (max).

Métrique	Ember-1 Ember-1 max Sortie: 2026-09-28	Step 3.5 Flash Step 3.5 Flash medium Sortie: 2026-02-01

Métrique	Ember-1 Ember-1 max Sortie: 2026-09-28	Step 3.5 Flash Step 3.5 Flash medium Sortie: 2026-02-01
Score	5.9	5.9
Rang	#248	#245
Fiabilité	7.5	10.0
Cohérence	7.7	8.6
Tentatives	66/66	63/66
Tests corrects
Taux de réussite par tentative	57.6%	50.0%
Tests instables	6	2
Exécutions totales	66	63
Coût par résultat	27.915	0.858
Coût total	$2.792	$0.132
Prix d'entrée	$3.000 / 1M	$0.100 / 1M
Prix de sortie	$15.000 / 1M	$0.300 / 1M
Total des jetons d'entrée	26,449	65,716
Jetons de sortie	4,183	189,424
Jetons de raisonnement	176,623	379,112
Temps de réponse (moy.)	98.92s	191.63s
Temps de réponse (max)	587.08s	1597.85s
Temps de réponse (total)	2176.20s	3066.07s
Paramètres	~2.8T au total (~104B actifs)	196B au total (11B actifs)
Disponibilité	Source fermée	Open source

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

medium

Catégorie:

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
Step 3.5 Flash	6.5	10.0	50.0%	0		813.71s	44,914	18,150	111,004

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
Step 3.5 Flash	3.5	4.4	33.3%	2		311.60s	682	126,213	175,555

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Changer la paire de comparaison