Mercury 2.5 (high) vs Grok 4.20 (medium)

Model yang Dibandingkan

Model yang direkomendasikan Mercury 2.5 (high)

It has the best score here (7.1), while costing about 26.0x less than Grok 4.20 (medium).

Metrik	Mercury 2.5 Mercury 2.5 high Rilis: 2026-09-08	Grok 4.20 Grok 4.20 medium Rilis: 2026-03-31

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

high

medium

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	10.0	10.0	100.0%	0		1.33s	782	218	7,913
Grok 4.20	8.2	7.9	83.3%	1		3.95s	2,010	287	8,312

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	6.4	7.8	44.4%	1		6.58s	7,757	415	44,012
Grok 4.20	6.3	6.6	55.6%	1		109.93s	8,307	268	103,150

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	6.4	5.8	66.7%	1		16.00s	91,255	1,478	62,200
Grok 4.20	8.7	6.9	83.3%	1		42.25s	71,267	3,776	44,009

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	10.0	10.0	100.0%	0		3.08s	8,355	557	9,430
Grok 4.20	10.0	10.0	100.0%	0		4.17s	7,761	180	5,333

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	2.9	7.2	11.1%	1		4.86s	857	78	22,452
Grok 4.20	2.9	7.2	11.1%	1		49.71s	1,959	872	59,761

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	5.0	10.0	0.0%	0		2.69s	528	93	3,609
Grok 4.20	3.9	2.6	33.3%	1		24.48s	825	65	6,440

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	6.5	10.0	50.0%	0		934ms	401	27	1,770
Grok 4.20	9.8	10.0	100.0%	0		4.26s	1,362	57	6,419

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	8.7	7.7	88.9%	1		1.39s	771	227	5,812
Grok 4.20	7.7	10.0	66.7%	0		6.22s	1,689	149	7,913

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	10.0	10.0	100.0%	0		3.06s	9,130	283	4,484
Grok 4.20	3.0	10.0	0.0%	0		13.68s	7,275	197	6,620

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2.5	3.0	10.0	0.0%	0		5.48s	232	26	9,463
Grok 4.20	3.0	10.0	0.0%	0		63.48s	531	9	16,442

Ganti Pasangan Perbandingan