Anthropic: Claude Sonnet 4.6 vs Inception: Mercury 2

Claude Sonnet 4.6 unggul dalam skor rata-rata dengan 7.3 vs 7.0. Mercury 2 (medium) memiliki biaya benchmark lebih rendah di $0.093 vs $0.661. Mercury 2 (medium) lebih cepat di 2.72s vs 8.12s, dengan tingkat keberhasilan 57.6% vs 51.5%.

Model yang direkomendasikanMercury 2 (medium)Its score stays close to the best score here (7.0 vs 7.3), while costing about 7.1x less than Claude Sonnet 4.6.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-25

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 none Rilis: 2026-02-17	Mercury 2 Mercury 2 medium Rilis: 2026-02-24

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 none Rilis: 2026-02-17	Mercury 2 Mercury 2 medium Rilis: 2026-02-24
Skor	7.3	7.0
Peringkat	#71	#86
Keandalan	10.0	10.0
Konsistensi	9.7	8.8
Tes benar
Tingkat lulus per percobaan	57.6%	51.5%
Tes tidak stabil	1	3
Total Run	66	66
Biaya per hasil	5.502	0.928
Total Biaya	$0.661	$0.093
Harga input	$3.000 / 1M	$0.250 / 1M
Harga output	$15.000 / 1M	$0.750 / 1M
Total token input	123,264	109,572
Token output	19,362	10,313
Token penalaran	0	76,806
Waktu respons (rata-rata)	8.12s	2.72s
Waktu respons (maks)	51.18s	14.63s
Waktu respons (total)	121.78s	57.12s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#71 Claude Sonnet 4.6

none

Biaya: $0.038
Waktu: 27.3s
Token: 2,598 tok

#86 Mercury 2

medium

Biaya: $0.002
Waktu: 2.1s
Token: 1,702 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	5.5	10.0	33.3%	0		5.19s	8,522	2,127	0
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	9.8	10.0	100.0%	0		37.51s	91,402	13,663	0
Mercury 2	6.7	9.1	50.0%	0		7.84s	87,365	6,533	20,474

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
Mercury 2	2.9	7.2	11.1%	1		6.48s	695	41	30,754

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748

Perbandingan Cepat

Ganti Pasangan Perbandingan