Kwaipilot: KAT-Coder-Pro V2.5 vs Qwen: Qwen3.6 Flash

Qwen3.6 Flash (medium) unggul dalam skor rata-rata dengan 6.9 vs 6.7. KAT-Coder-Pro V2.5 memiliki biaya benchmark lebih rendah di $0.476 vs $0.738. KAT-Coder-Pro V2.5 lebih cepat di 25.56s vs 44.65s, dengan tingkat keberhasilan 68.2% vs 68.2%.

Model yang direkomendasikanKAT-Coder-Pro V2.5Its score stays close to the best score here (6.7 vs 6.9), while costing about 1.6x less than Qwen3.6 Flash (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-17

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Qwen3.6 Flash Qwen3.6 Flash medium Rilis: 2026-04-20

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Qwen3.6 Flash Qwen3.6 Flash medium Rilis: 2026-04-20
Skor	6.7	6.9
Peringkat	#88	#82
Keandalan	10.0	10.0
Konsistensi	7.4	8.2
Tes benar
Tingkat lulus per percobaan	68.2%	68.2%
Tes tidak stabil	7	5
Total Run	66	66
Biaya per hasil	4.319	6.784
Total Biaya	$0.476	$0.738
Harga input	$0.740 / 1M	$0.188 / 1M
Harga output	$2.960 / 1M	$1.125 / 1M
Total token input	98,499	129,041
Token output	135,861	20,026
Token penalaran	0	614,312
Waktu respons (rata-rata)	25.56s	44.65s
Waktu respons (maks)	335.41s	578.13s
Waktu respons (total)	562.43s	982.32s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#88 KAT-Coder-Pro V2.5

none

Biaya: $0.010
Waktu: 29.0s
Token: 3,439 tok

#82 Qwen3.6 Flash

medium

SVG tidak valid

Biaya: $0.008
Waktu: 29.9s
Token: 6,784 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Qwen3.6 Flash	10.0	10.0	100.0%	0		6.10s	672	624	14,024

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Qwen3.6 Flash	5.0	5.1	44.5%	2		42.85s	7,895	495	67,967

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	77,889	0
Qwen3.6 Flash	6.5	10.0	50.0%	0		299.21s	101,613	17,514	382,793

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Qwen3.6 Flash	10.0	10.0	100.0%	0		9.65s	7,782	270	13,155

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
Qwen3.6 Flash	3.5	4.4	33.3%	2		14.65s	771	60	24,409

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Qwen3.6 Flash	4.8	9.9	0.0%	0		9.88s	516	140	5,445

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Qwen3.6 Flash	10.0	10.0	100.0%	0		6.05s	699	102	7,423

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Qwen3.6 Flash	8.2	7.2	88.9%	1		6.29s	696	460	10,860

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Qwen3.6 Flash	10.0	10.0	100.0%	0		4.00s	8,193	335	1,188

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Qwen3.6 Flash	3.0	10.0	0.0%	0		122.87s	204	26	87,048

Perbandingan Cepat

Ganti Pasangan Perbandingan

Qwen3.6 FlashmediumvsStep 3.7 Flashhigh GPT-5.5nonevsQwen3.6 Flashmedium GPT-5.6 SolnonevsQwen3.6 Flashmedium KAT-Coder-Pro V2.5nonevsQwen3.6 35B A3Bmedium DeepSeek V4 PrononevsQwen3.6 Flashmedium Gemini 3.5 FlashminimalvsQwen3.6 Flashmedium Gemma 4 26B A4BmediumTersedia gratisvsKAT-Coder-Pro V2.5none Gemini 3.5 FlashnonevsQwen3.6 Flashmedium Gemini 3.5 FlashminimalvsKAT-Coder-Pro V2.5none Gemini 3 Flash PreviewnonevsQwen3.6 Flashmedium KAT-Coder-Pro V2.5nonevsStep 3.7 Flashhigh KAT-Coder-Pro V2.5nonevsQwen3.6 27Bmedium