- Rang
- #192
- Total des jetons de sortie
- 37,748
- Temps de réponse (moy.)
- 8.03s
- Coût total
- $1.100
Claude Sonnet 5.5 (medium) vs KAT-Coder-Pro V2.5 (low)
Le score moyen est pratiquement à égalité avec 6.5 vs 6.5. KAT-Coder-Pro V2.5 (low) a le coût de benchmark le plus bas avec $0.400 vs $1.100. Claude Sonnet 5.5 (medium) est plus rapide avec 8.03s vs 19.40s, avec des taux de réussite de 40.6% vs 65.2%.
Modèles comparés
- Rang
- #191
- Total des jetons de sortie
- 113,193
- Temps de réponse (moy.)
- 19.40s
- Coût total
- $0.400
Modèle recommandé
KAT-Coder-Pro V2.5 (low)
Il obtient le meilleur score ici (6.5) tout en coûtant environ 2.8x moins que Claude Sonnet 5.5 (medium).
Comparaison détaillée
| Métrique | Claude Sonnet 5.5 Claude Sonnet 5.5 medium | KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low |
|---|---|---|
| Score | 6.5 | 6.5 |
| Rang | #192 | #191 |
| Fiabilité | 10.0 | 10.0 |
| Cohérence | 9.7 | 7.1 |
| Tentatives | 69/69 | 69/69 |
| Tests corrects | ||
| Taux de réussite par tentative | 40.6% | 65.2% |
| Tests instables | 1 | 8 |
| Exécutions totales | 69 | 69 |
| Coût par résultat | 12.221 | 3.636 |
| Coût total | $1.100 | $0.400 |
| Prix d'entrée | $2.000 / 1M | $0.740 / 1M |
| Prix de sortie | $10.000 / 1M | $2.960 / 1M |
| Total des jetons d'entrée | 361,183 | 87,682 |
| Jetons de sortie | 26,609 | 7,166 |
| Jetons de raisonnement | 11,139 | 106,027 |
| Temps de réponse (moy.) | 8.03s | 19.40s |
| Temps de réponse (max) | 51.18s | 209.15s |
| Temps de réponse (total) | 184.80s | 446.11s |
| Paramètres | ~1T au total (~100B actifs) | ~700B au total (~72B actifs) |
| Disponibilité | Source fermée | Source fermée |
Génération showcase de modèles
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#192 Claude Sonnet 5.5
medium- Coût
- $0.024
- Temps
- 17.4s
- Tokens
- 2,525 tok
#191 KAT-Coder-Pro V2.5
low- Coût
- $0.016
- Temps
- 47.6s
- Tokens
- 5,182 tok
Meilleurs modèles par score
Score vs coût total
Temps de réponse (moy.)
Score vs Temps de réponse (moy.)
Total des jetons de sortie
Score vs Total des jetons de sortie
Répartition par catégorie
| Tâches agentiques | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 10.0 | 10.0 | 100.0% | 0 | 51.18s | 190,412 | 3,424 | 1,344 | |
| KAT-Coder-Pro V2.5 | 3.0 | 10.0 | 0.0% | 0 | 1.75s | 0 | 0 | 0 |
| Astuces anti-IA | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 6.5 | 10.0 | 50.0% | 0 | 2.54s | 858 | 1,697 | 0 | |
| KAT-Coder-Pro V2.5 | 6.9 | 5.8 | 75.0% | 2 | 4.20s | 672 | 277 | 4,228 |
| Programmation | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 3.4 | 9.7 | 0.0% | 0 | 6.07s | 10,608 | 6,767 | 0 | |
| KAT-Coder-Pro V2.5 | 7.8 | 10.0 | 66.7% | 0 | 24.87s | 7,893 | 402 | 24,945 |
| Combiné | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 8.5 | 10.0 | 50.0% | 0 | 23.58s | 133,232 | 7,780 | 5,241 | |
| KAT-Coder-Pro V2.5 | 6.4 | 5.8 | 66.7% | 1 | 111.87s | 60,055 | 5,393 | 43,732 |
| Analyse et extraction des données | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 6.5 | 10.0 | 50.0% | 0 | 2.56s | 10,515 | 696 | 0 | |
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.19s | 7,776 | 288 | 1,917 |
| Spécifique au domaine | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 3.0 | 10.0 | 0.0% | 0 | 8.78s | 990 | 4,137 | 2,729 | |
| KAT-Coder-Pro V2.5 | 3.5 | 4.4 | 33.3% | 2 | 22.86s | 780 | 35 | 21,430 |
| Intelligence générale | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 5.1 | 3.4 | 33.3% | 1 | 2.27s | 714 | 324 | 0 | |
| KAT-Coder-Pro V2.5 | 4.1 | 2.7 | 33.3% | 1 | 2.32s | 516 | 99 | 412 |
| Suivi des instructions | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 6.3 | 10.0 | 50.0% | 0 | 1.88s | 921 | 346 | 0 | |
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 2.53s | 699 | 83 | 1,008 |
| Résolution d'énigmes | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 7.7 | 10.0 | 66.7% | 0 | 2.43s | 912 | 876 | 0 | |
| KAT-Coder-Pro V2.5 | 6.4 | 4.4 | 77.8% | 2 | 3.11s | 696 | 289 | 1,820 |
| Appel d'outils | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 10.0 | 10.0 | 100.0% | 0 | 4.75s | 11,757 | 354 | 0 | |
| KAT-Coder-Pro V2.5 | 10.0 | 10.0 | 100.0% | 0 | 18.45s | 8,391 | 282 | 834 |
| Culture générale | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 5.5 | 3.0 | 10.0 | 0.0% | 0 | 8.57s | 264 | 208 | 1,825 | |
| KAT-Coder-Pro V2.5 | 3.0 | 10.0 | 0.0% | 0 | 17.06s | 204 | 18 | 5,701 |
Comparaison rapide
Changer la paire de comparaison
KAT-Coder-Pro V2.5lowvsStep 3.7 FlashhighClaude Sonnet 5.5mediumvsMercury 2.5 PreviewhighMercury 2mediumvsKAT-Coder-Pro V2.5lowClaude Sonnet 5.5mediumvsMercury 2.5highClaude Sonnet 5.5mediumvsGLM 5.3lowKAT-Coder-Pro V2.5lowvsQwen3.6 35B A3BmediumClaude Sonnet 5.5mediumvsGLM 5.1noneClaude Sonnet 5.5mediumvsStep 3.7 FlashhighMercury 2.5 PreviewhighvsKAT-Coder-Pro V2.5lowKAT-Coder-Pro V2.5lowvsQwen3.7 FlashmediumClaude Sonnet 5.5mediumvsKAT-Coder-Pro V2.5highMercury 2.5highvsKAT-Coder-Pro V2.5low