AI BENCHY Compare

Mistral: Mistral Small 4 vs xAI: Grok 4.20

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-05-10

Metrik	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16	Grok 4.20 Grok 4.20 none Rilis: 2026-03-31

Metrik	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16	Grok 4.20 Grok 4.20 none Rilis: 2026-03-31
Skor	5.5	5.4
Peringkat	#109	#115
Keandalan	10.0	T/A
Konsistensi	7.0	9.5
Tes benar
Tingkat lulus per percobaan	47.4%	35.2%
Tes tidak stabil	7	1
Total Run	57	54
Biaya per hasil	0.693	1.574
Total Biaya	$0.035	$0.095
Harga input	$0.150 / 1M	$1.250 / 1M
Harga output	$0.600 / 1M	$2.500 / 1M
Token output	15,102	1,967
Token penalaran	40,965	0
Waktu respons (rata-rata)	5.65s	1.11s
Waktu respons (maks)	30.49s	6.04s
Waktu respons (total)	107.44s	20.02s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	4,055	4,778
Grok 4.20	4.8	10.0	25.0%	0		501ms	267	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	6.7	3.5	66.7%	1		30.49s	2,796	11,296
Grok 4.20	3.4	9.3	0.0%	0		1.22s	312	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		25.25s	2,612	10,700
Grok 4.20	3.0	10.0	0.0%	0		6.04s	282	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	335	723
Grok 4.20	10.0	10.0	100.0%	0		522ms	207	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	2,621	6,904
Grok 4.20	3.0	10.0	0.0%	0		687ms	325	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	821	828
Grok 4.20	4.8	10.0	0.0%	0		659ms	83	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	540	1,031
Grok 4.20	6.3	10.0	50.0%	0		455ms	60	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.4	9.7	0.0%	0		2.00s	983	2,338
Grok 4.20	5.3	7.2	44.4%	1		487ms	242	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	321	810
Grok 4.20	10.0	10.0	100.0%	0		4.63s	189	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	18	1,557
Grok 4.20	-	-	-	-	-	-	-	-

Perbandingan Cepat

Ganti Pasangan Perbandingan

Mistral Small 4mediumvsQwen3.5-122B-A10Bnone Elephant AlphamediumvsGrok 4.20none Mistral Small 4mediumvsQwen3.6 Flashnone DeepSeek V3.2nonevsMistral Small 4medium Mistral Small 4mediumvsKimi K2.5none MiniMax M2.5mediumTersedia gratisvsGrok 4.20none Mistral Small 4mediumvsGLM 5 Turbonone Mistral Small 4mediumvsMiMo-V2.5-Pronone Mistral Small 4mediumvsGLM 5.1none Mistral Small 4mediumvsKimi K2.6none Mistral Small 4mediumvsElephant Alphanone Mistral Small 4mediumvsGPT-5.4none