AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Qwen: Qwen3.5-Flash

Résumé

Le score moyen est pratiquement à égalité avec 6.8 vs 6.8. Qwen3.5-Flash (medium) a le coût de benchmark le plus bas avec $0.080 vs $0.220. KAT-Coder-Pro V2.5 est plus rapide avec 10.81s vs 63.29s, avec des taux de réussite de 71.4% vs 71.4%.

Modèle recommandéKAT-Coder-Pro V2.5Il obtient le meilleur score ici (6.8) et répond environ 5.9x plus vite que Qwen3.5-Flash (medium).

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-14

Métrique	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Sortie: 2026-07-14	Qwen3.5-Flash Qwen3.5-Flash medium Sortie: 2026-02-24

Métrique	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Sortie: 2026-07-14	Qwen3.5-Flash Qwen3.5-Flash medium Sortie: 2026-02-24
Score	6.8	6.8
Rang	#89	#87
Fiabilité	10.0	10.0
Cohérence	7.3	8.1
Tests corrects
Taux de réussite par tentative	71.4%	71.4%
Tests instables	7	5
Exécutions totales	63	63
Coût par résultat	1.992	0.871
Coût total	$0.220	$0.080
Prix d'entrée	$0.740 / 1M	$0.065 / 1M
Prix de sortie	$2.960 / 1M	$0.260 / 1M
Total des jetons d'entrée	42,749	38,926
Jetons de sortie	63,338	2,088
Jetons de raisonnement	0	294,598
Temps de réponse (moy.)	10.81s	63.29s
Temps de réponse (max)	53.57s	234.29s
Temps de réponse (total)	227.02s	1265.85s

Génération showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none

Coût: $0.010
Temps: 29.0s
Tokens: 3,439 tok

#87 Qwen3.5-Flash

medium

Coût: $0.002
Temps: 25.8s
Tokens: 4,294 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Catégorie:

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		59.11s	672	383	32,992

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Qwen3.5-Flash	3.7	7.2	22.2%	1		58.87s	6,685	302	90,081

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	4.7	1.6	66.7%	1		30.76s	15,131	5,366	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		17.78s	14,934	483	8,270

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Qwen3.5-Flash	7.3	5.9	83.3%	1		56.99s	6,061	235	16,237

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
Qwen3.5-Flash	5.3	7.2	44.4%	1		146.50s	581	58	43,615

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Qwen3.5-Flash	6.1	3.1	66.7%	1		40.05s	516	99	38,486

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		63.49s	699	98	14,139

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Qwen3.5-Flash	8.2	7.2	88.9%	1		27.61s	381	89	12,457

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		10.33s	8,193	309	1,284

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Qwen3.5-Flash	3.0	10.0	0.0%	0		48.98s	204	32	37,037

Comparaison rapide

Changer la paire de comparaison