Ember-1 (high) vs Mercury 2.5 (high)

Model yang Dibandingkan

Model yang direkomendasikan Mercury 2.5 (high)

It has the best score here (7.1), while costing about 58.0x less than Ember-1 (high).

Metrik	Ember-1 Ember-1 high Rilis: 2026-09-28	Mercury 2.5 Mercury 2.5 high Rilis: 2026-09-08

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

high

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.7	7.9	91.7%	1		24.05s	1,544	886	992
Mercury 2.5	10.0	10.0	100.0%	0		1.33s	782	218	7,913

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	8.2	7.2	88.9%	1		72.23s	7,144	1,281	23,093
Mercury 2.5	6.4	7.8	44.4%	1		6.58s	7,757	415	44,012

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	6.4	5.8	66.7%	1		79.89s	28,994	1,667	6,614
Mercury 2.5	6.4	5.8	66.7%	1		16.00s	91,255	1,478	62,200

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.3	5.9	83.3%	1		36.10s	6,076	230	1,228
Mercury 2.5	10.0	10.0	100.0%	0		3.08s	8,355	557	9,430

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	2.9	4.4	22.2%	2		175.49s	1,154	1,023	61,582
Mercury 2.5	2.9	7.2	11.1%	1		4.86s	857	78	22,452

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.49s	744	194	304
Mercury 2.5	5.0	10.0	0.0%	0		2.69s	528	93	3,609

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	7.1	5.8	83.3%	1		33.38s	992	162	784
Mercury 2.5	6.5	10.0	50.0%	0		934ms	401	27	1,770

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	10.0	10.0	100.0%	0		4.84s	1,452	390	848
Mercury 2.5	8.7	7.7	88.9%	1		1.39s	771	227	5,812

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		26.45s	0	0	0
Mercury 2.5	10.0	10.0	100.0%	0		3.06s	9,130	283	4,484

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Ember-1	3.0	10.0	0.0%	0		65.34s	477	1,512	7,335
Mercury 2.5	3.0	10.0	0.0%	0		5.48s	232	26	9,463

Ganti Pasangan Perbandingan