KAT-Coder-Air V2.5 (medium) vs GLM 5.1

Model yang direkomendasikan KAT-Coder-Air V2.5 (medium)

Its score stays close to the best score here (5.6 vs 5.7), while costing about 4.5x less than GLM 5.1.

Perbandingan terperinci

Metrik	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Rilis: 2026-07-14	GLM 5.1 GLM 5.1 none Rilis: 2026-04-07

Metrik	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Rilis: 2026-07-14	GLM 5.1 GLM 5.1 none Rilis: 2026-04-07
Skor	5.6	5.7
Peringkat	#215	#205
Keandalan	9.6	10.0
Konsistensi	8.9	8.2
Percobaan	66/66	66/66
Tes benar
Tingkat lulus per percobaan	45.5%	45.5%
Tes tidak stabil	3	5
Total Run	66	66
Biaya per hasil	0.596	2.073
Total Biaya	$0.048	$0.214
Harga input	$0.150 / 1M	$1.260 / 1M
Harga output	$0.600 / 1M	$3.961 / 1M
Total token input	51,369	124,219
Token output	8,008	14,393
Token penalaran	58,568	0
Waktu respons (rata-rata)	8.65s	6.74s
Waktu respons (maks)	48.19s	61.20s
Waktu respons (total)	190.35s	148.20s
Parameter	~35B total (~3B aktif)	744B total (40B aktif)
Ketersediaan	Tertutup	Sumber terbuka

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

medium

none

SVG tidak valid

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	8.7	8.0	91.7%	1		3.79s	672	549	4,194
GLM 5.1	4.0	6.3	25.0%	2		2.11s	555	305	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	3.6	7.0	22.2%	1		23.37s	7,893	5,199	29,973
GLM 5.1	3.9	9.7	0.0%	0		4.96s	7,256	525	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		19.56s	23,854	435	6,811
GLM 5.1	2.8	1.8	33.3%	2		46.88s	99,907	12,768	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.65s	7,776	268	1,881
GLM 5.1	10.0	10.0	100.0%	0		1.08s	7,107	204	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		6.58s	668	673	4,670
GLM 5.1	5.3	7.2	44.4%	1		2.27s	697	24	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		9.81s	516	189	557
GLM 5.1	5.0	10.0	0.0%	0		790ms	477	39	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		1.50s	699	93	730
GLM 5.1	9.8	10.0	100.0%	0		1.98s	636	66	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	3.6	7.2	22.2%	1		1.87s	696	265	1,184
GLM 5.1	7.7	10.0	66.7%	0		1.45s	609	151	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	317	906
GLM 5.1	10.0	10.0	100.0%	0		10.68s	6,789	300	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		15.74s	204	20	7,662
GLM 5.1	3.0	10.0	0.0%	0		2.34s	186	11	0

Ganti Pasangan Perbandingan