Ember-1 (max) vs Step 3.5 Flash (medium)

Model yang Dibandingkan

Model yang direkomendasikan Step 3.5 Flash (medium)

It has the best score here (5.9), while costing about 21.3x less than Ember-1 (max).

Metrik	Ember-1 Ember-1 max Rilis: 2026-09-28	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01

Metrik	Ember-1 Ember-1 max Rilis: 2026-09-28	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01
Skor	5.9	5.9
Peringkat	#248	#245
Keandalan	7.5	10.0
Konsistensi	7.7	8.6
Percobaan	66/66	63/66
Tes benar
Tingkat lulus per percobaan	57.6%	50.0%
Tes tidak stabil	6	2
Total Run	66	63
Biaya per hasil	27.915	0.858
Total Biaya	$2.792	$0.132
Harga input	$3.000 / 1M	$0.100 / 1M
Harga output	$15.000 / 1M	$0.300 / 1M
Total token input	26,449	65,716
Token output	4,183	189,424
Token penalaran	176,623	379,112
Waktu respons (rata-rata)	98.92s	191.63s
Waktu respons (maks)	587.08s	1597.85s
Waktu respons (total)	2176.20s	3066.07s
Parameter	~2.8T total (~104B aktif)	196B total (11B aktif)
Ketersediaan	Tertutup	Sumber terbuka

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
Step 3.5 Flash	6.5	10.0	50.0%	0		813.71s	44,914	18,150	111,004

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
Step 3.5 Flash	3.5	4.4	33.3%	2		311.60s	682	126,213	175,555

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Ganti Pasangan Perbandingan