AI BENCHY Compare

Mistral: Mistral Small 4 vs Z.ai: GLM 4.7 Flash

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-03-17

Metrik	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16	GLM 4.7 Flash GLM 4.7 Flash medium Rilis: 2026-01-19

Metrik	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16	GLM 4.7 Flash GLM 4.7 Flash medium Rilis: 2026-01-19
Peringkat	#61	#69
Skor	5.3	4.7
Konsistensi	9.5	6.6
Biaya per hasil	0.108	1.046
Total Biaya	$0.006	$0.042
Tes benar
Tingkat lulus per percobaan	33.3%	39.2%
Tes tidak stabil	1	7
Total Run	51	51
Token output	1,624	38,719
Token penalaran	0	65,465
Waktu respons (rata-rata)	629ms	33.44s
Waktu respons (maks)	1.72s	174.55s
Waktu respons (total)	10.70s	334.39s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.4	7.9	16.7%	1		395ms	182	0
GLM 4.7 Flash	4.7	5.9	41.7%	2		14.95s	1,122	6,110

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		1.72s	496	0
GLM 4.7 Flash	2.8	2.1	33.3%	1		65.57s	2,585	20,648

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		822ms	261	0
GLM 4.7 Flash	6.3	10.0	50.0%	0		1.51s	584	2,755

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	5.3	10.0	33.3%	0		367ms	28	0
GLM 4.7 Flash	3.5	4.4	33.3%	2		174.55s	33,000	25,394

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	4.0	10.0	0.0%	0		729ms	205	0
GLM 4.7 Flash	3.6	9.7	0.0%	0		18.14s	18	2,138

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	6.5	10.0	50.0%	0		380ms	69	0
GLM 4.7 Flash	6.2	5.8	66.7%	1		2.97s	388	2,181

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.1	9.9	0.0%	0		589ms	170	0
GLM 4.7 Flash	2.9	7.2	11.1%	1		12.90s	798	5,225

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	213	0
GLM 4.7 Flash	10.0	10.0	100.0%	0		15.95s	224	1,014

Perbandingan Cepat

Ganti Pasangan Perbandingan

Qwen3.5-9BnonevsGLM 4.7 Flashmedium GPT-5.4 MininonevsGLM 4.7 Flashmedium Mercury 2nonevsGLM 4.7 Flashmedium Grok 4.1 FastnonevsGLM 4.7 Flashmedium MiMo-V2-FlashnonevsGLM 4.7 Flashmedium Qwen3 Coder NextnonevsGLM 4.7 Flashmedium GPT-4o-mininonevsGLM 4.7 Flashmedium GPT-5.4 NanononevsGLM 4.7 Flashmedium Mistral Small 4nonevsQwen3 Coder Nextmedium Nemotron 3 Super 120b A12bnoneTersedia gratisvsGLM 4.7 Flashmedium Trinity Large PreviewnoneTersedia gratisvsGLM 4.7 Flashmedium MiniMax M2.5mediumTersedia gratisvsMistral Small 4none