Ember-1 (high) vs Mercury 2 (medium)

Model yang Dibandingkan

Model yang direkomendasikan Mercury 2 (medium)

Its score stays close to the best score here (7.0 vs 7.1), while costing about 19.3x less than Ember-1 (high).

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	Mercury 2 Mercury 2 medium Rilis: 2026-02-24

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	Mercury 2 Mercury 2 medium Rilis: 2026-02-24
Skor	7.1	7.0
Peringkat	#158	#166
Keandalan	8.0	10.0
Konsistensi	7.3	8.4
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	71.2%	53.0%
Tes tidak stabil	7	4
Total Run	66	66
Biaya per hasil	14.981	0.933
Total Biaya	$1.798	$0.094
Harga input	$3.000 / 1M	$0.250 / 1M
Harga output	$15.000 / 1M	$0.750 / 1M
Total token input	48,577	110,515
Token output	7,345	10,325
Token penalaran	102,780	77,229
Waktu respons (rata-rata)	56.77s	2.95s
Waktu respons (maks)	255.06s	14.63s
Waktu respons (total)	1248.88s	61.89s
Parameter	~2.8T total (~104B aktif)	~100B
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614
Mercury 2	6.7	9.1	50.0%	0		7.84s	87,365	6,533	20,474

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582
Mercury 2	2.9	4.4	22.2%	2		8.06s	1,638	53	31,177

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748

Ganti Pasangan Perbandingan