Ember-1 (low) vs GPT-5.4 Mini (medium)

Model yang Dibandingkan

Model yang direkomendasikan GPT-5.4 Mini (medium)

It has the strongest score in this comparison (7.5) and the best overall balance of cost and response time across all 2 models.

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	GPT-5.4 Mini GPT-5.4 Mini medium Rilis: 2026-03-17

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	GPT-5.4 Mini GPT-5.4 Mini medium Rilis: 2026-03-17
Skor	7.5	7.5
Peringkat	#120	#126
Keandalan	8.1	10.0
Konsistensi	8.5	8.1
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	66.7%	68.2%
Tes tidak stabil	4	5
Total Run	66	66
Biaya per hasil	5.085	6.546
Total Biaya	$0.662	$0.786
Harga input	$3.000 / 1M	$0.750 / 1M
Harga output	$15.000 / 1M	$4.500 / 1M
Total token input	33,011	97,164
Token output	4,780	6,211
Token penalaran	32,687	152,133
Waktu respons (rata-rata)	30.98s	26.72s
Waktu respons (maks)	93.10s	138.75s
Waktu respons (total)	681.50s	587.90s
Parameter	~2.8T total (~104B aktif)	~400B total (~17B aktif)
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1		22.18s	1,402	571	613
GPT-5.4 Mini	8.6	7.9	91.7%	1		4.05s	606	296	2,876

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		37.91s	8,097	2,518	13,142
GPT-5.4 Mini	8.4	7.4	88.9%	1		57.87s	7,305	467	40,902

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		51.45s	12,828	381	689
GPT-5.4 Mini	6.9	5.9	66.7%	1		59.64s	74,058	4,347	40,924

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		34.82s	6,076	223	778
GPT-5.4 Mini	10.0	10.0	100.0%	0		2.43s	7,140	234	650

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1		56.17s	1,154	234	12,476
GPT-5.4 Mini	3.6	7.2	22.2%	1		71.05s	628	60	49,875

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		5.67s	744	139	462
GPT-5.4 Mini	4.5	10.0	0.0%	0		3.72s	477	150	510

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.73s	781	121	466
GPT-5.4 Mini	9.8	10.0	100.0%	0		2.13s	660	96	1,185

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		3.27s	1,452	393	595
GPT-5.4 Mini	7.8	10.0	66.7%	0		4.37s	642	278	2,443

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.43s	0	0	0
GPT-5.4 Mini	4.7	1.6	66.7%	1		9.62s	5,453	251	2,594

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		30.60s	477	200	3,466
GPT-5.4 Mini	3.0	10.0	0.0%	0		30.10s	195	32	10,174

Ganti Pasangan Perbandingan