AI BENCHY Compare

Mistral: Mistral Small 4 vs Qwen: Qwen3.6 35B A3B

Ringkasan

Perbandingan benchmark Mistral Small 4 vs Qwen3.6 35B A3B: Mistral Small 4 unggul dalam skor rata-rata dengan 5.3 vs 4.6. Qwen3.6 35B A3B memiliki biaya benchmark lebih rendah di $0.031 vs $0.068. Qwen3.6 35B A3B lebih cepat di 3.73s vs 9.40s, dengan tingkat keberhasilan 44.4% vs 30.2%.

Model yang direkomendasikan: Qwen3.6 35B A3B - Its score stays close to the best score here (4.6 vs 5.3), while costing about 2.2x less than Mistral Small 4.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-10

Metrik	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16	Qwen3.6 35B A3B Qwen3.6 35B A3B none Rilis: 2026-04-20

Metrik	Mistral Small 4 Mistral Small 4 medium Rilis: 2026-03-16	Qwen3.6 35B A3B Qwen3.6 35B A3B none Rilis: 2026-04-20
Skor	5.3	4.6
Peringkat	#133	#154
Keandalan	10.0	10.0
Konsistensi	6.9	8.0
Tes benar
Tingkat lulus per percobaan	44.4%	30.2%
Tes tidak stabil	8	5
Total Run	63	63
Biaya per hasil	1.344	0.754
Total Biaya	$0.068	$0.031
Harga input	$0.150 / 1M	$0.140 / 1M
Harga output	$0.600 / 1M	$1.000 / 1M
Total token input	42,576	19,329
Token output	24,184	27,755
Token penalaran	84,678	0
Waktu respons (rata-rata)	9.40s	3.73s
Waktu respons (maks)	59.15s	22.52s
Waktu respons (total)	197.39s	70.86s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#133 Mistral Small 4

medium

Cost: $0.006
Time: 47.9s
Tokens: 9,857 tok

#154 Qwen3.6 35B A3B

none

Cost: $0.008
Time: 30.1s
Tokens: 6,317 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778
Qwen3.6 35B A3B	3.6	7.6	16.7%	1		2.10s	696	1,571	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	4.4	5.1	33.3%	2		39.98s	7,636	11,635	54,715
Qwen3.6 35B A3B	5.5	10.0	33.3%	0		8.77s	7,911	11,161	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		25.25s	18,706	2,612	10,700
Qwen3.6 35B A3B	3.0	10.0	0.0%	0		0ms	0	0	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723
Qwen3.6 35B A3B	10.0	10.0	100.0%	0		1.46s	7,788	248	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	742	2,621	6,904
Qwen3.6 35B A3B	3.5	4.4	33.3%	2		7.45s	781	11,381	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828
Qwen3.6 35B A3B	4.4	3.0	33.3%	1		3.51s	520	1,545	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031
Qwen3.6 35B A3B	6.2	5.8	66.7%	1		1.86s	709	1,264	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632
Qwen3.6 35B A3B	3.2	9.9	0.0%	0		1.07s	714	573	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810
Qwen3.6 35B A3B	3.0	10.0	0.0%	0		0ms	0	0	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557
Qwen3.6 35B A3B	3.0	10.0	0.0%	0		414ms	210	12	0

Perbandingan Cepat

Ganti Pasangan Perbandingan