AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Qwen: Qwen3.6 27B

Ringkasan

KAT-Coder-Pro V2.5 unggul dalam skor rata-rata dengan 6.8 vs 6.6. KAT-Coder-Pro V2.5 memiliki biaya benchmark lebih rendah di $0.220 vs $0.336. KAT-Coder-Pro V2.5 lebih cepat di 10.81s vs 59.71s, dengan tingkat keberhasilan 71.4% vs 60.3%.

Model yang direkomendasikanKAT-Coder-Pro V2.5It has the best score here (6.8), while costing about 1.5x less than Qwen3.6 27B (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-14

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Qwen3.6 27B Qwen3.6 27B medium Rilis: 2026-04-20

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Qwen3.6 27B Qwen3.6 27B medium Rilis: 2026-04-20
Skor	6.8	6.6
Peringkat	#89	#99
Keandalan	10.0	10.0
Konsistensi	7.3	8.2
Tes benar
Tingkat lulus per percobaan	71.4%	60.3%
Tes tidak stabil	7	5
Total Run	63	63
Biaya per hasil	1.992	3.361
Total Biaya	$0.220	$0.336
Harga input	$0.740 / 1M	$0.290 / 1M
Harga output	$2.960 / 1M	$2.400 / 1M
Total token input	42,749	39,376
Token output	63,338	16,189
Token penalaran	0	122,521
Waktu respons (rata-rata)	10.81s	59.71s
Waktu respons (maks)	53.57s	168.22s
Waktu respons (total)	227.02s	1254.01s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none

Biaya: $0.010
Waktu: 29.0s
Token: 3,439 tok

#99 Qwen3.6 27B

medium

Biaya: $0.009
Waktu: 39.6s
Token: 3,090 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Qwen3.6 27B	8.3	10.0	75.0%	0		12.62s	453	582	4,311

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Qwen3.6 27B	7.7	10.0	66.7%	0		142.99s	5,051	7,968	43,367

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.7	1.6	66.7%	1		30.76s	15,131	5,366	0
Qwen3.6 27B	7.0	3.7	66.7%	1		83.07s	15,104	2,088	14,689

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Qwen3.6 27B	3.5	1.4	50.0%	2		37.30s	7,778	568	9,404

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
Qwen3.6 27B	2.9	7.2	11.1%	1		73.38s	662	3,510	20,352

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Qwen3.6 27B	6.5	3.4	66.7%	1		39.53s	516	81	3,045

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Qwen3.6 27B	10.0	10.0	100.0%	0		37.96s	699	346	6,548

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Qwen3.6 27B	7.7	10.0	66.7%	0		61.14s	696	255	12,044

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Qwen3.6 27B	10.0	10.0	100.0%	0		16.88s	8,213	390	2,954

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Qwen3.6 27B	3.0	10.0	0.0%	0		80.99s	204	401	5,807

Perbandingan Cepat

Ganti Pasangan Perbandingan