AI BENCHY Compare

Mistral: Mistral Small 4 vs Z.ai: GLM 4.7 Flash

Ringkasan

Perbandingan benchmark Mistral Small 4 vs GLM 4.7 Flash: Mistral Small 4 unggul dalam skor rata-rata dengan 5.1 vs 4.3. Mistral Small 4 memiliki biaya benchmark lebih rendah di $0.007 vs $0.054. Mistral Small 4 lebih cepat di 630ms vs 35.10s, dengan tingkat keberhasilan 27.0% vs 33.3%.

Model yang direkomendasikan: Mistral Small 4 - It has the best score here (5.1), while costing about 7.7x less than GLM 4.7 Flash.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-02

Metrik	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16	GLM 4.7 Flash GLM 4.7 Flash medium Rilis: 2026-01-19

Metrik	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16	GLM 4.7 Flash GLM 4.7 Flash medium Rilis: 2026-01-19
Skor	5.1	4.3
Peringkat	#134	#162
Keandalan	10.0	6.7
Konsistensi	9.5	6.8
Tes benar
Tingkat lulus per percobaan	27.0%	33.3%
Tes tidak stabil	1	8
Total Run	63	63
Biaya per hasil	0.139	1.337
Total Biaya	$0.007	$0.054
Harga input	$0.150 / 1M	$0.060 / 1M
Harga output	$0.600 / 1M	$0.400 / 1M
Total token input	37,309	37,206
Token output	2,201	43,754
Token penalaran	0	89,079
Waktu respons (rata-rata)	630ms	35.10s
Waktu respons (maks)	1.72s	174.55s
Waktu respons (total)	13.22s	456.24s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#134 Mistral Small 4

none

Biaya: $0.002
Waktu: 10.4s
Token: 2,370 tok

#162 GLM 4.7 Flash

medium

SVG tidak valid

Biaya: $0.000
Waktu: 186.2s
Token: 12,112 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.4	7.9	16.7%	1		395ms	708	182	0
GLM 4.7 Flash	4.7	5.9	41.7%	2		14.95s	555	1,122	6,110

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.7	9.7	0.0%	0		901ms	7,636	619	0
GLM 4.7 Flash	3.2	7.4	11.1%	1		55.33s	3,106	4,981	22,387

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		1.72s	11,640	496	0
GLM 4.7 Flash	2.8	2.1	33.3%	1		65.57s	17,185	2,585	20,648

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		822ms	7,914	261	0
GLM 4.7 Flash	6.3	10.0	50.0%	0		1.51s	7,107	584	2,755

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	5.3	10.0	33.3%	0		367ms	798	28	0
GLM 4.7 Flash	3.5	4.4	33.3%	2		174.55s	643	33,000	25,394

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	4.0	10.0	0.0%	0		729ms	519	205	0
GLM 4.7 Flash	3.6	9.7	0.0%	0		18.14s	318	18	2,138

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	6.5	10.0	50.0%	0		380ms	729	69	0
GLM 4.7 Flash	6.2	5.8	66.7%	1		2.97s	636	388	2,181

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.1	9.9	0.0%	0		399ms	735	111	0
GLM 4.7 Flash	2.9	7.2	11.1%	1		12.93s	521	781	5,255

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	6,420	213	0
GLM 4.7 Flash	10.0	10.0	100.0%	0		15.95s	6,949	224	1,014

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		397ms	210	17	0
GLM 4.7 Flash	3.0	10.0	0.0%	0		11.13s	186	71	1,197

Perbandingan Cepat

Ganti Pasangan Perbandingan

MiniMax M2.7mediumvsMistral Small 4none Grok 4.20nonevsGLM 4.7 Flashmedium CobuddymediumvsMistral Small 4none Granite 4.1 8BnonevsGLM 4.7 Flashmedium gpt-oss-120bnoneTersedia gratisvsGLM 4.7 Flashmedium Mercury 2nonevsGLM 4.7 Flashmedium Ling-2.6-1TnonevsGLM 4.7 Flashmedium MiniMax M2.5mediumvsMistral Small 4none Mistral Small 4nonevsQwen3 Coder Nextmedium GPT-5.4 NanononevsGLM 4.7 Flashmedium Ring-2.6-1TnonevsGLM 4.7 Flashmedium Ling-2.6-flashnonevsGLM 4.7 Flashmedium