Ember-1 (low) vs Grok Build 0.1 (medium)

Model yang Dibandingkan

Model yang direkomendasikan Ember-1 (low)

It has the best score here (7.5), while costing about 1.7x less than Grok Build 0.1 (medium).

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Grok Build 0.1 Grok Build 0.1 medium Rilis: 2026-05-21

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Grok Build 0.1 Grok Build 0.1 medium Rilis: 2026-05-21
Skor	7.5	7.5
Peringkat	#120	#127
Keandalan	8.1	10.0
Konsistensi	8.5	9.6
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	66.7%	60.6%
Tes tidak stabil	4	1
Total Run	66	66
Biaya per hasil	5.085	8.691
Total Biaya	$0.662	$1.130
Harga input	$3.000 / 1M	$1.000 / 1M
Harga output	$15.000 / 1M	$2.000 / 1M
Total token input	33,011	106,946
Token output	4,780	7,993
Token penalaran	32,687	503,413
Waktu respons (rata-rata)	30.98s	54.50s
Waktu respons (maks)	93.10s	252.69s
Waktu respons (total)	681.50s	1199.07s
Parameter	~2.8T total (~104B aktif)	~300B total (~30B aktif)
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1		22.18s	1,402	571	613
Grok Build 0.1	8.3	10.0	75.0%	0		7.43s	2,010	220	12,162

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		37.91s	8,097	2,518	13,142
Grok Build 0.1	5.7	9.7	33.3%	0		108.46s	8,304	1,138	161,452

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		51.45s	12,828	381	689
Grok Build 0.1	10.0	10.0	100.0%	0		65.08s	75,242	5,442	65,569

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		34.82s	6,076	223	778
Grok Build 0.1	10.0	10.0	100.0%	0		10.72s	7,761	180	8,876

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1		56.17s	1,154	234	12,476
Grok Build 0.1	2.9	7.2	11.1%	1		175.94s	1,959	492	192,037

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		5.67s	744	139	462
Grok Build 0.1	4.4	9.9	0.0%	0		18.41s	825	76	6,345

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.73s	781	121	466
Grok Build 0.1	9.8	10.0	100.0%	0		12.36s	1,362	57	9,599

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		3.27s	1,452	393	595
Grok Build 0.1	7.7	10.0	66.7%	0		18.26s	1,689	195	20,841

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.43s	0	0	0
Grok Build 0.1	10.0	10.0	100.0%	0		13.12s	7,263	180	4,969

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		30.60s	477	200	3,466
Grok Build 0.1	3.0	10.0	0.0%	0		53.51s	531	13	21,563

Ganti Pasangan Perbandingan