AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Poolside: Laguna XS 2.1

Ringkasan

Laguna XS 2.1 (medium) unggul dalam skor rata-rata dengan 7.0 vs 6.8. Laguna XS 2.1 (medium) memiliki biaya benchmark lebih rendah di $0.036 vs $0.220. KAT-Coder-Pro V2.5 lebih cepat di 10.81s vs 30.08s, dengan tingkat keberhasilan 71.4% vs 44.4%.

Model yang direkomendasikanLaguna XS 2.1 (medium)It has the best score here (7.0), while costing about 6.2x less than KAT-Coder-Pro V2.5.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-14

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Laguna XS 2.1 Laguna XS 2.1 medium Rilis: 2026-07-02 Tersedia gratis

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Laguna XS 2.1 Laguna XS 2.1 medium Rilis: 2026-07-02 Tersedia gratis
Skor	6.8	7.0
Peringkat	#89	#81
Keandalan	10.0	10.0
Konsistensi	7.3	9.6
Tes benar
Tingkat lulus per percobaan	71.4%	44.4%
Tes tidak stabil	7	1
Total Run	63	63
Biaya per hasil	1.992	0.392
Total Biaya	$0.220	$0.036
Harga input	$0.740 / 1M	$0.060 / 1M
Harga output	$2.960 / 1M	$0.120 / 1M
Total token input	42,749	45,324
Token output	63,338	25,761
Token penalaran	0	268,677
Waktu respons (rata-rata)	10.81s	30.08s
Waktu respons (maks)	53.57s	155.23s
Waktu respons (total)	227.02s	631.77s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none

Biaya: $0.010
Waktu: 29.0s
Token: 3,439 tok

#81 Laguna XS 2.1

medium

Biaya: $0.001
Waktu: 30.6s
Token: 4,678 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Laguna XS 2.1	4.8	10.0	25.0%	0		41.96s	774	353	73,090

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Laguna XS 2.1	5.5	10.0	33.3%	0		70.35s	7,995	23,767	83,258

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.7	1.6	66.7%	1		30.76s	15,131	5,366	0
Laguna XS 2.1	9.6	10.0	100.0%	0		13.43s	18,033	507	5,908

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Laguna XS 2.1	10.0	10.0	100.0%	0		4.50s	7,734	234	3,129

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
Laguna XS 2.1	2.9	7.2	11.1%	1		65.66s	834	17	91,533

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Laguna XS 2.1	5.0	10.0	0.0%	0		4.15s	537	119	1,375

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Laguna XS 2.1	9.8	10.0	100.0%	0		2.57s	753	82	1,844

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Laguna XS 2.1	5.3	10.0	33.3%	0		3.43s	771	357	3,355

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Laguna XS 2.1	10.0	10.0	100.0%	0		3.01s	7,638	309	748

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Laguna XS 2.1	3.0	10.0	0.0%	0		10.88s	255	16	4,437

Perbandingan Cepat

Ganti Pasangan Perbandingan

Ring-2.6-1TmediumvsKAT-Coder-Pro V2.5none Gemini 3.5 FlashminimalvsKAT-Coder-Pro V2.5none KAT-Coder-Pro V2.5nonevsQwen3.5-Flashmedium Laguna XS 2.1mediumTersedia gratisvsStep 3.7 Flashhigh Gemini 3.5 FlashnonevsLaguna XS 2.1mediumTersedia gratis KAT-Coder-Pro V2.5nonevsQwen3.6 35B A3Bmedium KAT-Coder-Pro V2.5nonevsMiMo-V2.5medium Laguna XS 2.1mediumTersedia gratisvsGLM 5.2none KAT-Coder-Pro V2.5nonevsgpt-oss-120bmediumTersedia gratis Laguna XS 2.1mediumTersedia gratisvsQwen3.7 Plusnone DeepSeek V4 PrononevsLaguna XS 2.1mediumTersedia gratis Gemini 3 Flash PreviewnonevsLaguna XS 2.1mediumTersedia gratis