Kwaipilot: KAT-Coder-Pro V2.5 vs Qwen: Qwen3.5-27B

Qwen3.5-27B (medium) unggul dalam skor rata-rata dengan 7.4 vs 7.2. KAT-Coder-Pro V2.5 (high) memiliki biaya benchmark lebih rendah di $0.482 vs $1.627. KAT-Coder-Pro V2.5 (high) lebih cepat di 20.83s vs 111.94s, dengan tingkat keberhasilan 63.6% vs 72.7%.

Model yang direkomendasikanKAT-Coder-Pro V2.5 (high)Its score stays close to the best score here (7.2 vs 7.4), while costing about 3.4x less than Qwen3.5-27B (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-18

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high Rilis: 2026-07-14	Qwen3.5-27B Qwen3.5-27B medium Rilis: 2026-02-24

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high Rilis: 2026-07-14	Qwen3.5-27B Qwen3.5-27B medium Rilis: 2026-02-24
Skor	7.2	7.4
Peringkat	#68	#58
Keandalan	10.0	10.0
Konsistensi	7.8	8.2
Tes benar
Tingkat lulus per percobaan	63.6%	72.7%
Tes tidak stabil	6	5
Total Run	66	66
Biaya per hasil	4.378	8.324
Total Biaya	$0.482	$1.627
Harga input	$0.740 / 1M	$0.260 / 1M
Harga output	$2.960 / 1M	$2.600 / 1M
Total token input	106,076	111,635
Token output	9,071	15,999
Token penalaran	127,093	598,430
Waktu respons (rata-rata)	20.83s	111.94s
Waktu respons (maks)	199.97s	1026.43s
Waktu respons (total)	458.31s	2462.67s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#68 KAT-Coder-Pro V2.5

high

Biaya: $0.009
Waktu: 26.4s
Token: 3,117 tok

#58 Qwen3.5-27B

medium

Biaya: $0.008
Waktu: 62.0s
Token: 3,099 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	7.0	8.0	66.7%	1		3.17s	672	447	2,716
Qwen3.5-27B	8.7	7.9	91.7%	1		19.75s	672	569	31,505

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.4	7.9	44.4%	1		22.00s	7,893	422	20,461
Qwen3.5-27B	6.2	7.1	55.6%	1		160.69s	7,895	6,381	89,388

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	7.3	5.8	83.3%	1		106.70s	78,458	6,956	60,306
Qwen3.5-27B	7.3	5.8	83.3%	1		595.19s	84,417	7,948	279,132

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.13s	7,776	278	1,960
Qwen3.5-27B	10.0	10.0	100.0%	0		30.26s	7,782	270	16,150

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.33s	771	33	35,701
Qwen3.5-27B	5.3	10.0	33.3%	0		79.53s	553	43	52,368

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	5.1	10.0	0.0%	0		3.27s	516	139	647
Qwen3.5-27B	6.1	3.1	66.7%	1		101.41s	524	70	23,147

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.67s	699	84	976
Qwen3.5-27B	10.0	10.0	100.0%	0		19.66s	699	97	11,638

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.38s	696	428	1,936
Qwen3.5-27B	8.2	7.7	77.8%	1		59.60s	696	242	70,096

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		28.04s	8,391	268	896
Qwen3.5-27B	10.0	10.0	100.0%	0		7.45s	8,193	348	1,323

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		5.22s	204	16	1,494
Qwen3.5-27B	3.0	10.0	0.0%	0		85.11s	204	31	23,683

Perbandingan Cepat

Ganti Pasangan Perbandingan

KAT-Coder-Pro V2.5highvsKimi K2.6medium KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow KAT-Coder-Pro V2.5highvsQwen3.5 Plus 2026-04-20medium Claude Opus 4.8nonevsKAT-Coder-Pro V2.5high GPT-5.6 TerralowvsQwen3.5-27Bmedium KAT-Coder-Pro V2.5highvsQwen3.7 Plusnone GPT-5.3 ChatnonevsQwen3.5-27Bmedium Gemini 3 Flash PreviewlowvsQwen3.5-27Bmedium KAT-Coder-Pro V2.5lowvsQwen3.5-27Bmedium Gemini 3.1 Flash LitemediumvsKAT-Coder-Pro V2.5high KAT-Coder-Pro V2.5highvsQwen3.5-122B-A10Bmedium Gemini 3.1 Flash Lite PreviewmediumvsKAT-Coder-Pro V2.5high