AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs OpenAI: GPT-5 Mini

Ringkasan

GPT-5 Mini (medium) unggul dalam skor rata-rata dengan 8.5 vs 8.0. GPT-5 Mini (medium) memiliki biaya benchmark lebih rendah di $0.159 vs $0.220. KAT-Coder-Pro V2.5 (low) lebih cepat di 10.44s vs 23.64s, dengan tingkat keberhasilan 71.4% vs 63.5%.

Model yang direkomendasikanGPT-5 Mini (medium)It has the strongest score in this comparison (8.5) and the best overall balance of cost and response time across all 2 models.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-14

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Rilis: 2026-07-14	GPT-5 Mini GPT-5 Mini medium Rilis: 2025-08-07

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Rilis: 2026-07-14	GPT-5 Mini GPT-5 Mini medium Rilis: 2025-08-07
Skor	8.0	8.5
Peringkat	#35	#19
Keandalan	9.9	10.0
Konsistensi	7.3	9.1
Tes benar
Tingkat lulus per percobaan	71.4%	63.5%
Tes tidak stabil	7	2
Total Run	63	63
Biaya per hasil	1.991	1.319
Total Biaya	$0.220	$0.159
Harga input	$0.740 / 1M	$0.250 / 1M
Harga output	$2.960 / 1M	$2.000 / 1M
Total token input	42,750	37,100
Token output	2,167	6,801
Token penalaran	61,133	67,690
Waktu respons (rata-rata)	10.44s	23.64s
Waktu respons (maks)	51.34s	88.15s
Waktu respons (total)	219.17s	496.44s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#35 KAT-Coder-Pro V2.5

low

Biaya: $0.016
Waktu: 47.6s
Token: 5,182 tok

#19 GPT-5 Mini

medium

Biaya: $0.007
Waktu: 42.9s
Token: 3,432 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.9	5.8	75.0%	2		4.20s	672	277	4,228
GPT-5 Mini	7.1	7.6	66.7%	1		13.86s	606	1,715	6,378

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		24.87s	7,893	402	24,945
GPT-5 Mini	10.0	10.0	100.0%	0		27.63s	7,302	658	17,152

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		14.59s	15,132	394	3,391
GPT-5 Mini	10.0	10.0	100.0%	0		88.15s	14,118	754	11,520

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.19s	7,776	288	1,917
GPT-5 Mini	10.0	10.0	100.0%	0		12.58s	7,140	453	3,200

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		17.52s	771	35	16,877
GPT-5 Mini	3.6	7.2	22.2%	1		44.63s	515	293	14,016

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.1	2.7	33.3%	1		2.32s	516	99	412
GPT-5 Mini	4.5	10.0	0.0%	0		13.50s	477	349	1,856

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		2.53s	699	83	1,008
GPT-5 Mini	10.0	10.0	100.0%	0		11.59s	660	310	3,968

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.4	4.4	77.8%	2		3.11s	696	289	1,820
GPT-5 Mini	5.6	9.8	33.3%	0		15.20s	642	1,622	6,144

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		18.45s	8,391	282	834
GPT-5 Mini	10.0	10.0	100.0%	0		18.64s	5,445	487	1,600

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		17.06s	204	18	5,701
GPT-5 Mini	3.0	10.0	0.0%	0		9.99s	195	160	1,856

Perbandingan Cepat

Ganti Pasangan Perbandingan