AI BENCHY Compare

Kwaipilot: KAT-Coder-Air V2.5 vs Z.ai: GLM 5.1

Rezumat

KAT-Coder-Air V2.5 (low) conduce la scorul mediu cu 6.0 vs 5.6. KAT-Coder-Air V2.5 (low) are costul de benchmark mai mic, $0.030 vs $0.057. GLM 5.1 este mai rapid cu 4.10s vs 6.47s, cu rate de reușită de 46.0% vs 41.3%.

Model recomandatKAT-Coder-Air V2.5 (low)Are cel mai bun scor aici (6.0) și costă de aproximativ 1.9x mai puțin decât GLM 5.1.

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-07-14

Metrică	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 low Lansare: 2026-07-14	GLM 5.1 GLM 5.1 none Lansare: 2026-04-07

Metrică	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 low Lansare: 2026-07-14	GLM 5.1 GLM 5.1 none Lansare: 2026-04-07
Scor	6.0	5.6
Rang	#124	#141
Fiabilitate	9.7	10.0
Consistență	7.6	8.5
Teste corecte
Rată de trecere pe încercare	46.0%	41.3%
Teste instabile	6	4
Rulări totale	63	63
Cost per rezultat	0.427	0.843
Cost total	$0.030	$0.057
Preț de intrare	$0.150 / 1M	$0.966 / 1M
Preț de ieșire	$0.600 / 1M	$3.036 / 1M
Total tokenuri de intrare	42,464	47,133
Tokenuri de ieșire	4,227	3,754
Tokenuri de raționament	34,864	0
Timp de răspuns (mediu)	6.47s	4.10s
Timp de răspuns (maxim)	25.49s	32.57s
Timp de răspuns (total)	135.80s	86.18s

Prezentare generare

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#124 KAT-Coder-Air V2.5

low

Cost: $0.004
Timp: 29.9s
Tokenuri: 6,008 tok

#141 GLM 5.1

none

SVG invalid

Cost: $0.000
Timp: 300.0s
Tokenuri: 0 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Categorie:

Trucuri anti-AI	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	7.3	5.8	83.3%	2		3.50s	672	422	1,548
GLM 5.1	4.0	6.3	25.0%	2		2.11s	555	305	0

Programare	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	3.5	7.3	11.1%	1		11.06s	7,893	2,001	13,623
GLM 5.1	3.9	9.7	0.0%	0		4.96s	7,256	525	0

Combinat	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		25.49s	15,132	368	5,707
GLM 5.1	2.8	2.1	33.3%	1		32.57s	22,831	2,129	0

Parsare și extragere de date	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		2.82s	7,776	261	1,069
GLM 5.1	10.0	10.0	100.0%	0		1.08s	7,107	204	0

Specific domeniului	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	2.9	7.2	11.1%	1		4.99s	553	310	3,332
GLM 5.1	2.9	7.2	11.1%	1		1.99s	687	24	0

Inteligență generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		10.11s	516	142	596
GLM 5.1	5.0	10.0	0.0%	0		790ms	477	39	0

Respectarea instrucțiunilor	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	9.8	10.0	100.0%	0		1.64s	699	89	640
GLM 5.1	9.8	10.0	100.0%	0		1.98s	636	66	0

Rezolvare de puzzle-uri	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	3.1	4.6	22.2%	2		1.57s	696	294	796
GLM 5.1	7.7	10.0	66.7%	0		1.45s	609	151	0

Apelare instrumente	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.47s	8,391	330	1,065
GLM 5.1	10.0	10.0	100.0%	0		10.68s	6,789	300	0

Cultură generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		19.98s	136	10	6,488
GLM 5.1	3.0	10.0	0.0%	0		2.34s	186	11	0

Comparație rapidă

Schimbă perechea de comparație