Ember-1 (low) vs Mercury 2.5 Preview (medium)

Model yang Dibandingkan

Model yang direkomendasikan Mercury 2.5 Preview (medium)

It has the best score here (7.5), while costing about 28.1x less than Ember-1 (low).

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Mercury 2.5 Preview Mercury 2.5 Preview medium Rilis: 2026-09-02

Metrik	Ember-1 Ember-1 low Rilis: 2026-09-28	Mercury 2.5 Preview Mercury 2.5 Preview medium Rilis: 2026-09-02
Skor	7.5	7.5
Peringkat	#120	#125
Keandalan	8.1	10.0
Konsistensi	8.5	9.6
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	66.7%	69.7%
Tes tidak stabil	4	1
Total Run	66	66
Biaya per hasil	5.085	0.158
Total Biaya	$0.662	$0.024
Harga input	$3.000 / 1M	$0.040 / 1M
Harga output	$15.000 / 1M	$0.150 / 1M
Total token input	33,011	112,713
Token output	4,780	5,436
Token penalaran	32,687	121,598
Waktu respons (rata-rata)	30.98s	3.58s
Waktu respons (maks)	93.10s	17.84s
Waktu respons (total)	681.50s	78.66s
Parameter	~2.8T total (~104B aktif)	~100B
Ketersediaan	Tertutup	Tertutup

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

low

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.9	83.3%	1		22.18s	1,402	571	613
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.43s	781	203	7,921

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		37.91s	8,097	2,518	13,142
Mercury 2.5 Preview	7.8	10.0	66.7%	0		3.86s	7,839	552	22,126

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.5	10.0	50.0%	0		51.45s	12,828	381	689
Mercury 2.5 Preview	6.5	10.0	50.0%	0		13.86s	92,663	3,607	41,588

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		34.82s	6,076	223	778
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.77s	8,292	514	11,354

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	7.2	11.1%	1		56.17s	1,154	234	12,476
Mercury 2.5 Preview	5.3	7.2	44.4%	1		3.72s	853	62	17,120

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		5.67s	744	139	462
Mercury 2.5 Preview	5.0	10.0	0.0%	0		2.09s	538	99	3,375

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.2	5.8	66.7%	1		32.73s	781	121	466
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.35s	744	96	3,987

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		3.27s	1,452	393	595
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.87s	771	274	7,323

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.43s	0	0	0
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.37s	0	0	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		30.60s	477	200	3,466
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.13s	232	29	6,804

Ganti Pasangan Perbandingan