AI BENCHY Compare

Mistral: Mistral Small 4 vs Xiaomi: MiMo-V2-Flash

Ringkasan

Perbandingan benchmark Mistral Small 4 vs MiMo-V2-Flash: Mistral Small 4 unggul dalam skor rata-rata dengan 5.3 vs 4.6. MiMo-V2-Flash memiliki biaya benchmark lebih rendah di $0.025 vs $0.068. MiMo-V2-Flash lebih cepat di 2.76s vs 9.40s, dengan tingkat keberhasilan 44.4% vs 25.4%.

Model yang direkomendasikan: MiMo-V2-Flash - Its score stays close to the best score here (4.6 vs 5.3), while costing about 2.8x less than Mistral Small 4.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-10

Metrik	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16	MiMo-V2-Flash MiMo-V2-Flash none Rilis: 2025-12-16

Metrik	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16	MiMo-V2-Flash MiMo-V2-Flash none Rilis: 2025-12-16
Skor	5.3	4.6
Peringkat	#133	#153
Keandalan	10.0	6.7
Konsistensi	6.9	8.5
Tes benar
Tingkat lulus per percobaan	44.4%	25.4%
Tes tidak stabil	8	4
Total Run	63	63
Biaya per hasil	1.344	0.584
Total Biaya	$0.068	$0.025
Harga input	$0.150 / 1M	$0.100 / 1M
Harga output	$0.600 / 1M	$0.300 / 1M
Total token input	42,576	36,851
Token output	24,184	68,882
Token penalaran	84,678	0
Waktu respons (rata-rata)	9.40s	2.76s
Waktu respons (maks)	59.15s	19.68s
Waktu respons (total)	197.39s	46.99s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#133 Mistral Small 4

medium

Cost: $0.006
Time: 47.9s
Tokens: 9,857 tok

#153 MiMo-V2-Flash

none

Cost: $0.001
Time: 7.7s
Tokens: 1,481 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778
MiMo-V2-Flash	3.2	8.0	8.3%	1		1.19s	645	865	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	4.4	5.1	33.3%	2		39.98s	7,636	11,635	54,715
MiMo-V2-Flash	4.3	7.9	11.1%	1		2.64s	7,442	763	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		25.25s	18,706	2,612	10,700
MiMo-V2-Flash	3.0	10.0	0.0%	0		2.87s	15,075	330	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723
MiMo-V2-Flash	2.9	5.8	16.7%	1		19.68s	2,622	161	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	742	2,621	6,904
MiMo-V2-Flash	5.3	7.2	44.4%	1		564ms	753	24	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828
MiMo-V2-Flash	4.6	10.0	0.0%	0		1.67s	498	104	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031
MiMo-V2-Flash	6.5	10.0	50.0%	0		857ms	684	69	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632
MiMo-V2-Flash	5.3	10.0	33.3%	0		1.86s	678	66,282	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810
MiMo-V2-Flash	10.0	10.0	100.0%	0		2.28s	8,238	272	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557
MiMo-V2-Flash	3.0	10.0	0.0%	0		1.82s	216	12	0

Perbandingan Cepat

Ganti Pasangan Perbandingan