Ember-1 vs Granite 4.2 8B (low)

Model yang Dibandingkan

Model yang direkomendasikan Granite 4.2 8B (low)

Its score stays close to the best score here (5.1 vs 5.2), while costing about 10.7x less than Ember-1.

Metrik	Ember-1 Ember-1 none Rilis: 2026-09-28	Granite 4.2 8B Granite 4.2 8B low Rilis: 2026-09-02

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

none

low

Provider returned error

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.2	7.9	41.7%	1		22.37s	796	867	0
Granite 4.2 8B	8.3	10.0	75.0%	0		11.68s	777	1,463	898

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.5	10.0	33.3%	0		1.94s	7,485	393	0
Granite 4.2 8B	5.5	10.0	33.3%	0		13.01s	8,439	2,469	2,984

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		49.01s	12,162	327	0
Granite 4.2 8B	3.0	10.0	0.0%	0		298.21s	46,805	4,085	13,637

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.9	66.7%	1		35.25s	4,017	161	0
Granite 4.2 8B	6.5	10.0	50.0%	0		1.39s	7,683	270	75

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.3	10.0	33.3%	0		21.61s	804	68	0
Granite 4.2 8B	5.3	10.0	33.3%	0		26.16s	876	154	290

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.0	10.0	0.0%	0		2.28s	540	160	0
Granite 4.2 8B	4.0	10.0	0.0%	0		659ms	561	108	24

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		31.00s	509	81	0
Granite 4.2 8B	3.0	10.0	0.0%	0		75.80s	402	84	378

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		2.54s	840	569	0
Granite 4.2 8B	3.0	10.0	0.0%	0		90.84s	517	181	82

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.44s	0	0	0
Granite 4.2 8B	10.0	10.0	100.0%	0		2.23s	8,412	358	265

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		1.05s	273	38	0
Granite 4.2 8B	3.0	10.0	0.0%	0		5.53s	249	33	90

Ganti Pasangan Perbandingan