Ember-1 (low) vs GPT-5.4 Nano (medium)

Model yang Dibandingkan

Model yang direkomendasikan GPT-5.4 Nano (medium)

It has the best score here (7.5), while costing about 4.7x less than Ember-1 (low).

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17
Skor	7.5	7.5
Peringkat	#120	#117
Keandalan	8.1	10.0
Konsistensi	8.5	8.5
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	66.7%	65.2%
Tes tidak stabil	4	4
Total Run	66	66
Biaya per hasil	5.085	1.179
Total Biaya	$0.662	$0.142
Harga input	$3.000 / 1M	$0.200 / 1M
Harga output	$15.000 / 1M	$1.250 / 1M
Total token input	33,011	82,828
Token output	4,780	7,100
Token penalaran	32,687	92,781
Waktu respons (rata-rata)	30.98s	13.32s
Waktu respons (maks)	93.10s	94.06s
Waktu respons (total)	681.50s	292.97s
Parameter	~2.8T total (~104B aktif)	~120B total (~5B aktif)
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1		22.18s	1,402	571	613
GPT-5.4 Nano	8.3	10.0	75.0%	0		4.52s	606	683	2,254

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		37.91s	8,097	2,518	13,142
GPT-5.4 Nano	6.1	4.7	66.7%	2		19.12s	7,305	516	20,778

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		51.45s	12,828	381	689
GPT-5.4 Nano	9.9	10.0	100.0%	0		32.24s	59,730	4,435	19,221

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		34.82s	6,076	223	778
GPT-5.4 Nano	10.0	10.0	100.0%	0		2.54s	7,140	234	516

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1		56.17s	1,154	234	12,476
GPT-5.4 Nano	5.9	7.2	55.6%	1		38.72s	628	60	46,084

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		5.67s	744	139	462
GPT-5.4 Nano	4.5	10.0	0.0%	0		4.15s	477	179	443

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.73s	781	121	466
GPT-5.4 Nano	9.8	10.0	100.0%	0		1.88s	660	95	521

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		3.27s	1,452	393	595
GPT-5.4 Nano	4.1	7.2	22.2%	1		3.79s	642	594	1,408

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.43s	0	0	0
GPT-5.4 Nano	10.0	10.0	100.0%	0		7.71s	5,445	234	382

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		30.60s	477	200	3,466
GPT-5.4 Nano	3.0	10.0	0.0%	0		4.81s	195	70	1,174

Ganti Pasangan Perbandingan