AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Z.ai: GLM 5.1

Résumé

GLM 5.1 (medium) mène au score moyen avec 7.1 vs 6.8. KAT-Coder-Pro V2.5 a le coût de benchmark le plus bas avec $0.220 vs $0.288. KAT-Coder-Pro V2.5 est plus rapide avec 10.81s vs 33.67s, avec des taux de réussite de 71.4% vs 68.3%.

Modèle recommandéKAT-Coder-Pro V2.5Son score reste proche du meilleur score ici (6.8 vs 7.1) et il répond environ 3.1x plus vite que GLM 5.1 (medium).

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-14

Métrique	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Sortie: 2026-07-14	GLM 5.1 GLM 5.1 medium Sortie: 2026-04-07

Métrique	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Sortie: 2026-07-14	GLM 5.1 GLM 5.1 medium Sortie: 2026-04-07
Score	6.8	7.1
Rang	#89	#80
Fiabilité	10.0	6.7
Cohérence	7.3	8.3
Tests corrects
Taux de réussite par tentative	71.4%	68.3%
Tests instables	7	4
Exécutions totales	63	63
Coût par résultat	1.992	2.496
Coût total	$0.220	$0.288
Prix d'entrée	$0.740 / 1M	$0.966 / 1M
Prix de sortie	$2.960 / 1M	$3.036 / 1M
Total des jetons d'entrée	42,749	32,995
Jetons de sortie	63,338	11,655
Jetons de raisonnement	0	75,421
Temps de réponse (moy.)	10.81s	33.67s
Temps de réponse (max)	53.57s	172.60s
Temps de réponse (total)	227.02s	673.41s

Génération showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none

Coût: $0.010
Temps: 29.0s
Tokens: 3,439 tok

#80 GLM 5.1

medium

SVG invalide

Coût: $0.000
Temps: 300.0s
Tokens: 0 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Catégorie:

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
GLM 5.1	10.0	10.0	100.0%	0		8.31s	555	401	5,122

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
GLM 5.1	4.6	3.7	44.5%	2		109.63s	5,702	4,871	37,826

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	4.7	1.6	66.7%	1		30.76s	15,131	5,366	0
GLM 5.1	9.5	10.0	100.0%	0		43.11s	17,298	327	4,206

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
GLM 5.1	10.0	10.0	100.0%	0		9.33s	7,107	991	4,552

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
GLM 5.1	5.3	10.0	33.3%	0		29.77s	489	969	11,314

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
GLM 5.1	10.0	10.0	100.0%	0		20.95s	477	2,875	2,875

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
GLM 5.1	6.4	5.8	66.7%	1		7.47s	634	204	1,617

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
GLM 5.1	8.2	7.2	88.9%	1		31.64s	609	935	5,730

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
GLM 5.1	3.0	10.0	0.0%	0		0ms	0	0	0

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
GLM 5.1	3.0	10.0	0.0%	0		29.40s	124	82	2,179

Comparaison rapide

Changer la paire de comparaison

Step 3.7 FlashhighvsGLM 5.1medium Ring-2.6-1TmediumvsKAT-Coder-Pro V2.5none Gemini 3.5 FlashminimalvsKAT-Coder-Pro V2.5none KAT-Coder-Pro V2.5nonevsQwen3.5-Flashmedium KAT-Coder-Pro V2.5nonevsQwen3.6 35B A3Bmedium KAT-Coder-Pro V2.5nonevsMiMo-V2.5medium Qwen3.7 PlusnonevsGLM 5.1medium DeepSeek V4 PrononevsGLM 5.1medium Gemini 3.5 FlashnonevsGLM 5.1medium KAT-Coder-Pro V2.5nonevsgpt-oss-120bmediumDisponible gratuitement Claude Opus 4.8nonevsGLM 5.1medium KAT-Coder-Pro V2.5nonevsGPT-5 Nanomedium