Ember-1 (high) vs GPT-5.6 Luna (low)

Model yang Dibandingkan

Model yang direkomendasikan GPT-5.6 Luna (low)

It has the best score here (6.9), while costing about 32.4x less than Ember-1 (high).

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	GPT-5.6 Luna GPT-5.6 Luna low Rilis: 2026-07-09

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

low

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.1	3.1	66.7%	1		88.31s	146,912	5,130	5,968
GPT-5.6 Luna	10.0	10.0	100.0%	0		45.74s	106,325	1,017	698

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992
GPT-5.6 Luna	8.3	10.0	75.0%	0		2.21s	606	186	722

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093
GPT-5.6 Luna	5.5	10.0	33.3%	0		4.61s	7,302	557	3,535

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614
GPT-5.6 Luna	2.8	1.6	33.3%	2		13.71s	73,147	6,401	2,716

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228
GPT-5.6 Luna	10.0	10.0	100.0%	0		2.14s	7,140	234	292

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582
GPT-5.6 Luna	2.9	7.2	11.1%	1		11.24s	732	72	7,564

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304
GPT-5.6 Luna	5.0	10.0	0.0%	0		2.25s	477	122	169

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784
GPT-5.6 Luna	8.5	6.8	83.3%	1		2.04s	660	93	259

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848
GPT-5.6 Luna	7.6	7.2	77.8%	1		3.59s	642	271	1,207

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0
GPT-5.6 Luna	10.0	10.0	100.0%	0		4.43s	5,454	250	177

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335
GPT-5.6 Luna	3.0	10.0	0.0%	0		4.86s	195	27	1,432

Ganti Pasangan Perbandingan