Ember-1 (high) vs Grok 4.20 (medium)

Model yang Dibandingkan

Model yang direkomendasikan Grok 4.20 (medium)

Its score stays close to the best score here (7.0 vs 7.1), while costing about 2.2x less than Ember-1 (high).

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	Grok 4.20 Grok 4.20 medium Rilis: 2026-03-31

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992
Grok 4.20	8.2	7.9	83.3%	1		3.95s	2,010	287	8,312

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093
Grok 4.20	6.3	6.6	55.6%	1		109.93s	8,307	268	103,150

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614
Grok 4.20	8.7	6.9	83.3%	1		42.25s	71,267	3,776	44,009

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228
Grok 4.20	10.0	10.0	100.0%	0		4.17s	7,761	180	5,333

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582
Grok 4.20	2.9	7.2	11.1%	1		49.71s	1,959	872	59,761

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304
Grok 4.20	3.9	2.6	33.3%	1		24.48s	825	65	6,440

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784
Grok 4.20	9.8	10.0	100.0%	0		4.26s	1,362	57	6,419

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848
Grok 4.20	7.7	10.0	66.7%	0		6.22s	1,689	149	7,913

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0
Grok 4.20	3.0	10.0	0.0%	0		13.68s	7,275	197	6,620

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335
Grok 4.20	3.0	10.0	0.0%	0		63.48s	531	9	16,442

Ganti Pasangan Perbandingan