Inception: Mercury 2 vs Mistral: Mistral Small 4

Mistral Small 4 (medium) unggul dalam skor rata-rata dengan 5.1 vs 4.6. Mercury 2 memiliki biaya benchmark lebih rendah di $0.030 vs $0.096. Mercury 2 lebih cepat di 829ms vs 10.77s, dengan tingkat keberhasilan 22.7% vs 42.4%.

Model yang direkomendasikanMercury 2Its score stays close to the best score here (4.6 vs 5.1), while costing about 3.3x less than Mistral Small 4 (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-18

Metrik	Mercury 2 Mercury 2 none Rilis: 2026-02-24	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16

Metrik	Mercury 2 Mercury 2 none Rilis: 2026-02-24	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16
Skor	4.6	5.1
Peringkat	#185	#163
Keandalan	10.0	10.0
Konsistensi	9.2	7.0
Tes benar
Tingkat lulus per percobaan	22.7%	42.4%
Tes tidak stabil	2	8
Total Run	66	66
Biaya per hasil	0.734	1.913
Total Biaya	$0.030	$0.096
Harga input	$0.250 / 1M	$0.150 / 1M
Harga output	$0.750 / 1M	$0.600 / 1M
Total token input	88,704	140,494
Token output	9,564	39,462
Token penalaran	0	92,362
Waktu respons (rata-rata)	829ms	10.77s
Waktu respons (maks)	4.52s	59.15s
Waktu respons (total)	18.24s	236.94s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#185 Mercury 2

none

Biaya: $0.002
Waktu: 1.8s
Token: 1,514 tok

#163 Mistral Small 4

medium

Biaya: $0.006
Waktu: 47.9s
Token: 9,857 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		483ms	631	286	0
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.4	9.6	0.0%	0		1.03s	7,229	3,088	0
Mistral Small 4	4.4	5.1	33.3%	2		39.98s	7,636	11,635	54,715

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		2.56s	65,412	5,256	0
Mistral Small 4	3.0	10.0	0.0%	0		32.40s	116,624	17,890	18,384

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	7.3	5.9	83.3%	1		667ms	6,362	180	0
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	5.3	7.2	44.4%	1		534ms	784	46	0
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	742	2,621	6,904

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	4.8	10.0	0.0%	0		628ms	495	159	0
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	6.5	10.0	50.0%	0		551ms	691	82	0
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.1	10.0	0.0%	0		535ms	694	251	0
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	10.0	10.0	100.0%	0		1.27s	6,193	197	0
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		548ms	213	19	0
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557

Perbandingan Cepat

Ganti Pasangan Perbandingan

Mistral Small 4mediumvsMiMo-V2.5none Mistral Small 4mediumvsQwen3.5-9Bnone Mistral Small 4mediumvsQwen3 Coder Nextnone North Mini CodenoneTersedia gratisvsMistral Small 4medium CobuddymediumvsMercury 2none Mercury 2nonevsQwen3 Coder Nextmedium Mercury 2nonevsMiniMax M2.5medium Mistral Small 4mediumvsInklingnone DeepSeek V3.2nonevsMistral Small 4medium Mistral Small 4mediumvsGPT-4o-mininone Ling-2.6-1TnonevsMistral Small 4medium Mistral Small 4mediumvsQwen3.6 35B A3Bnone