Ember-1 (max) vs GPT-5.4

Model yang Dibandingkan

Model yang direkomendasikan GPT-5.4

Its score stays close to the best score here (5.8 vs 5.9), while costing about 7.0x less than Ember-1 (max).

Metrik	Ember-1 Ember-1 max Rilis: 2026-09-28	GPT-5.4 GPT-5.4 none Rilis: 2026-03-05

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

max

none

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		23.74s	1,533	613	1,394
GPT-5.4	3.2	8.0	8.3%	1		1.21s	606	406	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.2	4.4	55.6%	2		105.09s	3,362	1,149	27,957
GPT-5.4	5.5	10.0	33.3%	0		1.62s	7,305	516	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		64.37s	12,819	775	4,538
GPT-5.4	3.0	10.0	0.0%	0		9.26s	85,439	6,195	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.9	66.7%	1		39.79s	4,285	185	1,182
GPT-5.4	10.0	10.0	100.0%	0		1.04s	7,140	222	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.6	7.2	22.2%	1		471.21s	1,015	84	136,143
GPT-5.4	5.3	7.2	44.4%	1		1.15s	732	68	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		7.04s	741	193	716
GPT-5.4	4.4	9.9	0.0%	0		1.78s	477	184	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.97s	777	132	574
GPT-5.4	6.5	10.0	50.0%	0		1.07s	660	81	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.7	10.0	66.7%	0		6.57s	1,443	681	1,368
GPT-5.4	5.6	9.8	33.3%	0		1.44s	642	381	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.36s	0	0	0
GPT-5.4	10.0	10.0	100.0%	0		2.75s	5,445	246	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		24.95s	474	371	2,751
GPT-5.4	3.0	10.0	0.0%	0		990ms	195	40	0

Ganti Pasangan Perbandingan