Navigation
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Kwaipilot: KAT-Coder-Pro V2.5

Résumé

KAT-Coder-Pro V2.5 (medium) mène au score moyen avec 7.5 vs 7.3. KAT-Coder-Pro V2.5 (medium) a le coût de benchmark le plus bas avec $0.275 vs $0.316. Claude Sonnet 4.6 est plus rapide avec 5.04s vs 12.95s, avec des taux de réussite de 55.6% vs 65.1%.

Modèle recommandéClaude Sonnet 4.6Son score reste proche du meilleur score ici (7.3 vs 7.5) et il répond environ 2.6x plus vite que KAT-Coder-Pro V2.5 (medium).

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-14

Métrique Claude Sonnet 4.6 Claude Sonnet 4.6 none Sortie: 2026-02-17 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium Sortie: 2026-07-14
Score 7.3 7.5
Rang #71 #60
Fiabilité 10.0 10.0
Cohérence 9.7 7.7
Tests corrects
Taux de réussite par tentative 55.6% 65.1%
Tests instables 1 6
Exécutions totales 63 63
Coût par résultat 2.870 2.498
Coût total $0.316 $0.275
Prix d'entrée $3.000 / 1M $0.740 / 1M
Prix de sortie $15.000 / 1M $2.960 / 1M
Total des jetons d'entrée 57,886 42,750
Jetons de sortie 9,465 2,098
Jetons de raisonnement 0 80,027
Temps de réponse (moy.) 5.04s 12.95s
Temps de réponse (max) 23.84s 81.45s
Temps de réponse (total) 70.60s 271.92s

Génération showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#71 Claude Sonnet 4.6

none
Coût
$0.038
Temps
27.3s
Tokens
2,598 tok

#60 KAT-Coder-Pro V2.5

medium
Coût
$0.009
Temps
25.6s
Tokens
2,939 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Programmation Score Cohérence Taux de réussite par tentative Tests instables Tests corrects Temps de réponse (moy.) Jetons d'entrée Jetons de sortie Jetons de raisonnement
Claude Sonnet 4.6 5.5 10.0 33.3% 0 5.19s 8,522 2,127 0
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658

Comparaison rapide

Changer la paire de comparaison