Ember-1 vs Mercury 2.5 (low)

Model yang Dibandingkan

Model yang direkomendasikan Mercury 2.5 (low)

Its score stays close to the best score here (5.1 vs 5.2), while costing about 11.6x less than Ember-1.

Metrik	Ember-1 Ember-1 none Rilis: 2026-09-28	Mercury 2.5 Mercury 2.5 low Rilis: 2026-09-08

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

none

low

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.2	7.9	41.7%	1		22.37s	796	867	0
Mercury 2.5	6.9	7.9	66.7%	1		799ms	772	209	2,969

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.5	10.0	33.3%	0		1.94s	7,485	393	0
Mercury 2.5	5.5	10.0	33.3%	0		972ms	7,909	521	2,269

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		49.01s	12,162	327	0
Mercury 2.5	3.0	10.0	0.0%	0		5.16s	107,683	3,750	11,351

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.9	66.7%	1		35.25s	4,017	161	0
Mercury 2.5	6.5	10.0	50.0%	0		1.06s	8,322	739	1,499

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.3	10.0	33.3%	0		21.61s	804	68	0
Mercury 2.5	3.6	7.2	22.2%	1		846ms	851	57	2,265

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	5.0	10.0	0.0%	0		2.28s	540	160	0
Mercury 2.5	4.4	9.9	0.0%	0		819ms	525	99	748

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		31.00s	509	81	0
Mercury 2.5	2.9	6.0	16.7%	1		972ms	518	48	1,026

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		2.54s	840	569	0
Mercury 2.5	5.9	4.5	66.7%	2		792ms	768	249	2,214

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.44s	0	0	0
Mercury 2.5	9.8	10.0	100.0%	0		2.72s	10,440	388	2,537

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		1.05s	273	38	0
Mercury 2.5	3.0	10.0	0.0%	0		782ms	232	23	758

Ganti Pasangan Perbandingan