AI BENCHY Compare

Inception: Mercury 2 vs Mistral: Mistral Small 4

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-03

Metrik	Mercury 2 Mercury 2 none Rilis: 2026-02-24	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16

Metrik	Mercury 2 Mercury 2 none Rilis: 2026-02-24	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16
Skor	4.6	5.4
Peringkat	#153	#129
Keandalan	10.0	10.0
Konsistensi	9.1	7.1
Tes benar
Tingkat lulus per percobaan	25.0%	45.0%
Tes tidak stabil	2	7
Total Run	60	60
Biaya per hasil	0.216	1.112
Total Biaya	$0.009	$0.056
Harga input	$0.250 / 1M	$0.150 / 1M
Harga output	$0.750 / 1M	$0.600 / 1M
Total token input	25,515	39,834
Token output	3,001	21,871
Token penalaran	0	68,349
Waktu respons (rata-rata)	614ms	8.35s
Waktu respons (maks)	1.27s	59.15s
Waktu respons (total)	12.28s	167.08s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		483ms	631	286	0
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.5	9.4	0.0%	0		831ms	4,631	1,650	0
Mistral Small 4	5.1	6.8	33.3%	1		44.82s	4,894	9,322	38,386

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		606ms	4,821	131	0
Mistral Small 4	3.0	10.0	0.0%	0		25.25s	18,706	2,612	10,700

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	7.3	5.9	83.3%	1		667ms	6,362	180	0
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	5.3	7.2	44.4%	1		534ms	784	46	0
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	742	2,621	6,904

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	4.8	10.0	0.0%	0		628ms	495	159	0
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	6.5	10.0	50.0%	0		551ms	691	82	0
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.1	10.0	0.0%	0		535ms	694	251	0
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	10.0	10.0	100.0%	0		1.27s	6,193	197	0
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		548ms	213	19	0
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557

Perbandingan Cepat

Ganti Pasangan Perbandingan

Mistral Small 4mediumvsGrok 4.20none DeepSeek V3.2nonevsMistral Small 4medium Mistral Small 4mediumvsgpt-oss-120bnoneTersedia gratis Mistral Small 4mediumvsQwen3.5-122B-A10Bnone Mistral Small 4mediumvsGLM 5 Turbonone Mistral Small 4mediumvsKimi K2.5none Mistral Small 4mediumvsQwen3.6 Flashnone Mercury 2nonevsQwen3 Coder Nextmedium Mercury 2nonevsGLM 4.7 Flashmedium Mistral Small 4mediumvsKimi K2.6noneTersedia gratis Mistral Small 4mediumvsMiMo-V2.5-Pronone Mistral Small 4mediumvsGPT-5.4none