Ember-1 (low) vs Grok 4.7 (high)

Model yang Dibandingkan

Model yang direkomendasikan Ember-1 (low)

It has the best score here (7.5), while costing about 3.3x less than Grok 4.7 (high).

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Grok 4.7 Grok 4.7 high Rilis: 2026-09-21

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

high

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1		22.18s	1,402	571	613
Grok 4.7	8.7	7.9	91.7%	1		27.98s	2,743	111	14,914

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		37.91s	8,097	2,518	13,142
Grok 4.7	6.0	4.6	66.7%	2		335.92s	10,266	353	199,976

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		51.45s	12,828	381	689
Grok 4.7	8.6	6.9	83.3%	1		129.30s	75,277	5,730	60,640

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		34.82s	6,076	223	778
Grok 4.7	10.0	10.0	100.0%	0		8.65s	8,937	225	4,043

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1		56.17s	1,154	234	12,476
Grok 4.7	5.3	7.2	44.4%	1		306.71s	1,980	10	98,585

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		5.67s	744	139	462
Grok 4.7	4.1	2.7	33.3%	1		17.06s	1,077	52	3,238

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.73s	781	121	466
Grok 4.7	8.4	6.9	83.3%	1		14.15s	1,857	57	6,421

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		3.27s	1,452	393	595
Grok 4.7	10.0	10.0	100.0%	0		19.88s	2,430	178	10,706

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.43s	0	0	0
Grok 4.7	10.0	10.0	100.0%	0		5.08s	8,536	177	568

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		30.60s	477	200	3,466
Grok 4.7	3.0	10.0	0.0%	0		62.44s	789	14	10,088

Ganti Pasangan Perbandingan