Ember-1 (high) vs GLM 5.1 (medium)

Model yang Dibandingkan

Model yang direkomendasikan GLM 5.1 (medium)

Its score stays close to the best score here (7.0 vs 7.1), while costing about 1.7x less than Ember-1 (high).

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	GLM 5.1 GLM 5.1 medium Rilis: 2026-04-07

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

medium

Reached the allocated time limit (300 seconds) without receiving showcase output.

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992
GLM 5.1	10.0	10.0	100.0%	0		8.31s	555	401	5,122

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093
GLM 5.1	4.6	3.7	44.5%	2		109.63s	5,702	4,871	37,826

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614
GLM 5.1	9.8	10.0	100.0%	0		175.93s	66,926	4,761	65,248

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228
GLM 5.1	10.0	10.0	100.0%	0		9.33s	7,107	991	4,552

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582
GLM 5.1	3.0	10.0	0.0%	0		113.95s	458	969	74,651

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304
GLM 5.1	10.0	10.0	100.0%	0		20.95s	477	2,875	2,875

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784
GLM 5.1	6.4	5.8	66.7%	1		7.47s	634	204	1,617

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848
GLM 5.1	8.2	7.2	88.9%	1		31.64s	609	935	5,730

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0
GLM 5.1	3.0	10.0	0.0%	0		0ms	0	0	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335
GLM 5.1	3.0	10.0	0.0%	0		29.40s	124	82	2,179

Ganti Pasangan Perbandingan