AI BENCHY Compare

North Mini Code vs Mistral: Mistral Small 4

Ringkasan

Perbandingan benchmark North Mini Code vs Mistral Small 4: North Mini Code unggul dalam skor rata-rata dengan 5.8 vs 5.1. North Mini Code memiliki biaya benchmark lebih rendah di $0.000 vs $0.007. Mistral Small 4 lebih cepat di 630ms vs 106.18s, dengan tingkat keberhasilan 50.8% vs 27.0%.

Model yang direkomendasikan: Mistral Small 4 - Its score stays close to the best score here (5.1 vs 5.8), while responding about 168.6x faster than North Mini Code.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-02

Metrik	North Mini Code North Mini Code medium Rilis: 2026-06-18 Tersedia gratis	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16

Metrik	North Mini Code North Mini Code medium Rilis: 2026-06-18 Tersedia gratis	Mistral Small 4 Mistral Small 4 none Rilis: 2026-03-16
Skor	5.8	5.1
Peringkat	#110	#134
Keandalan	8.5	10.0
Konsistensi	8.5	9.5
Tes benar
Tingkat lulus per percobaan	50.8%	27.0%
Tes tidak stabil	4	1
Total Run	55	63
Biaya per hasil	0.000	0.139
Total Biaya	$0.000	$0.007
Harga input	$0.000 / 1M	$0.150 / 1M
Harga output	$0.000 / 1M	$0.600 / 1M
Total token input	32,891	37,309
Token output	424,772	2,201
Token penalaran	1,021,489	0
Waktu respons (rata-rata)	106.18s	630ms
Waktu respons (maks)	357.05s	1.72s
Waktu respons (total)	2229.70s	13.22s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#110 North Mini Code

medium

Biaya: $0.000
Waktu: 51.8s
Token: 12,460 tok

#134 Mistral Small 4

none

Biaya: $0.002
Waktu: 10.4s
Token: 2,370 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	8.4	10.0	75.0%	0		64.79s	324	64,441	68,535
Mistral Small 4	3.4	7.9	16.7%	1		395ms	708	182	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	4.5	4.9	33.3%	2		320.43s	7,119	219,891	561,569
Mistral Small 4	3.7	9.7	0.0%	0		901ms	7,636	619	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	2.8	1.6	33.3%	1		323.07s	14,760	0	151,500
Mistral Small 4	3.0	10.0	0.0%	0		1.72s	11,640	496	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	10.0	10.0	100.0%	0		24.06s	6,819	240	2,659
Mistral Small 4	10.0	10.0	100.0%	0		822ms	7,914	261	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	5.3	7.2	44.4%	1		71.37s	621	8,483	104,079
Mistral Small 4	5.3	10.0	33.3%	0		367ms	798	28	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	5.1	10.0	0.0%	0		25.08s	444	1,546	1,635
Mistral Small 4	4.0	10.0	0.0%	0		729ms	519	205	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	9.8	10.0	100.0%	0		15.43s	379	909	1,339
Mistral Small 4	6.5	10.0	50.0%	0		380ms	729	69	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	3.3	10.0	0.0%	0		19.70s	543	2,215	2,485
Mistral Small 4	3.1	9.9	0.0%	0		399ms	735	111	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	10.0	10.0	100.0%	0		3.93s	1,776	41	563
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	6,420	213	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
North Mini Code	3.0	10.0	0.0%	0		305.02s	106	127,006	127,125
Mistral Small 4	3.0	10.0	0.0%	0		397ms	210	17	0

Perbandingan Cepat

Ganti Pasangan Perbandingan