AI BENCHY Compare

Mistral: Mistral Small 4 vs OpenAI: GPT-5 Nano

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-03-17

Metrik	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07

Metrik	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07
Peringkat	#61	#43
Skor	5.3	6.2
Konsistensi	9.5	6.7
Biaya per hasil	0.108	0.864
Total Biaya	$0.006	$0.061
Tes benar
Tingkat lulus per percobaan	33.3%	58.8%
Tes tidak stabil	1	7
Total Run	51	51
Token output	1,624	4,500
Token penalaran	0	143,296
Waktu respons (rata-rata)	629ms	44.47s
Waktu respons (maks)	1.72s	204.02s
Waktu respons (total)	10.70s	444.74s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.4	7.9	16.7%	1		395ms	182	0
GPT-5 Nano	6.5	7.9	58.3%	1		25.50s	1,221	21,184

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.0	10.0	0.0%	0		1.72s	496	0
GPT-5 Nano	10.0	10.0	100.0%	0		65.96s	578	17,984

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		822ms	261	0
GPT-5 Nano	3.7	1.7	50.0%	2		21.42s	453	10,560

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	5.3	10.0	33.3%	0		367ms	28	0
GPT-5 Nano	5.2	4.4	55.6%	2		204.02s	237	64,448

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	4.0	10.0	0.0%	0		729ms	205	0
GPT-5 Nano	4.1	10.0	0.0%	0		17.51s	202	4,608

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	6.5	10.0	50.0%	0		380ms	69	0
GPT-5 Nano	8.5	6.8	83.3%	1		11.90s	382	4,096

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	3.1	9.9	0.0%	0		589ms	170	0
GPT-5 Nano	5.3	7.2	44.4%	1		19.81s	869	13,440

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	213	0
GPT-5 Nano	10.0	10.0	100.0%	0		33.30s	558	6,976

Perbandingan Cepat

Ganti Pasangan Perbandingan

DeepSeek V3.2nonevsGPT-5 Nanomedium GPT-5 NanomediumvsQwen3.5-Flashnone Seed-2.0-LitenonevsGPT-5 Nanomedium Gemini 2.5 FlashnonevsGPT-5 Nanomedium GPT-5 NanomediumvsQwen3.5-35B-A3Bnone GPT-5 NanomediumvsHunter Alphanone GPT-5 NanomediumvsQwen3.5-122B-A10Bnone Mistral Small 4nonevsQwen3 Coder Nextmedium GPT-5 NanomediumvsGLM 5none GPT-5 NanomediumvsQwen3.5 Plus 2026-02-15none Mistral Small 4nonevsGLM 4.7 Flashmedium MiniMax M2.5mediumTersedia gratisvsMistral Small 4none