Seed-2.0-Code (high) vs KAT-Coder-Pro V2.5 (medium)
KAT-Coder-Pro V2.5 (medium) mène au score moyen avec 6.9 vs 6.9. KAT-Coder-Pro V2.5 (medium) a le coût de benchmark le plus bas avec $0.467 vs $1.312. KAT-Coder-Pro V2.5 (medium) est plus rapide avec 24.04s vs 127.79s, avec des taux de réussite de 71.2% vs 63.6%.
Benchmarks générés à partir des suites de tests AI BENCHY le:
2026-08-12
Rang
#123
Total des jetons de sortie
423,424
Temps de réponse (moy.)
127.79s
Coût total
$1.312
Rang
#117
Total des jetons de sortie
135,464
Temps de réponse (moy.)
24.04s
Coût total
$0.467
Modèle recommandéKAT-Coder-Pro V2.5 (medium)
Il obtient le meilleur score ici (6.9) tout en coûtant environ 2.8x moins que Seed-2.0-Code (high).
6.9Score moyen sur l’ensemble des tests de benchmark.…
6.9Score moyen sur l’ensemble des tests de benchmark.…
Rang
#123
#117
Fiabilité
6.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
10.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
Cohérence
7.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
7.4Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
Tentatives
66/66
66/66
Tests corrects
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 5Mauvaise réponse: 4N'a pas suivi les instructions: 1Aucune réponse: 1Temps de réponse (moy.)127.79sTemps de réponse (max)675.30sTemps de réponse (total)2811.27sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 9Erreur API: 1N'a pas suivi les instructions: 1Temps de réponse (moy.)24.04sTemps de réponse (max)257.00sTemps de réponse (total)528.92sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Taux de réussite par tentative
71.2%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
63.6%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
Tests instables
8Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
7Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Exécutions totales
66Exécutions totales…
66Exécutions totales…
Coût par résultat
11.921Affiche le coût moyen par réponse correcte du benchmark, en centimes (plus bas est meilleur).…
4.237Affiche le coût moyen par réponse correcte du benchmark, en centimes (plus bas est meilleur).…
Coût total
$1.312Coût total (prix actuel)…
$0.467Coût total (prix actuel)…
Prix d'entrée
$0.500 / 1MPrix d'entrée…
$0.740 / 1MPrix d'entrée…
Prix de sortie
$3.000 / 1MPrix de sortie…
$2.960 / 1MPrix de sortie…
Total des jetons d'entrée
81,961Total des jetons d'entrée…
87,907Total des jetons d'entrée…
Jetons de sortie
7,187Jetons de sortie…
7,213Jetons de sortie…
Jetons de raisonnement
416,237Jetons de raisonnement…
128,251Jetons de raisonnement…
Temps de réponse (moy.)
127.79sTemps de réponse (moy.)…
24.04sTemps de réponse (moy.)…
Temps de réponse (max)
675.30sTemps de réponse (max)…
257.00sTemps de réponse (max)…
Temps de réponse (total)
2811.27sTemps de réponse (total)…
528.92sTemps de réponse (total)…
Paramètres
~200B au total (~20B actifs)
~700B au total (~72B actifs)
Disponibilité
Source fermée
Source fermée
Génération showcase de modèles
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
8.3Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
75.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)35.07sTemps de réponse (max)82.43sTemps de réponse (total)140.28sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
8.2Score moyen sur l’ensemble des tests de benchmark.…
7.9Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
83.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)3.90sTemps de réponse (max)6.99sTemps de réponse (total)15.61sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
5.9Score moyen sur l’ensemble des tests de benchmark.…
4.4Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
66.7%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
2Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1N'a pas suivi les instructions: 1Temps de réponse (moy.)266.74sTemps de réponse (max)443.32sTemps de réponse (total)800.23sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
7.8Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
66.7%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)33.10sTemps de réponse (max)71.91sTemps de réponse (total)99.31sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
7.3Score moyen sur l’ensemble des tests de benchmark.…
5.8Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
83.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)144.87sTemps de réponse (max)236.85sTemps de réponse (total)289.75sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
6.4Score moyen sur l’ensemble des tests de benchmark.…
5.8Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
66.7%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)135.75sTemps de réponse (max)257.00sTemps de réponse (total)271.50sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)24.28sTemps de réponse (max)34.05sTemps de réponse (total)48.55sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
7.3Score moyen sur l’ensemble des tests de benchmark.…
5.9Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
83.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)4.70sTemps de réponse (max)5.34sTemps de réponse (total)9.39sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
4.1Score moyen sur l’ensemble des tests de benchmark.…
4.4Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
44.5%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
2Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Aucune réponse: 1Temps de réponse (moy.)446.14sTemps de réponse (max)675.30sTemps de réponse (total)1338.43sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
2.9Score moyen sur l’ensemble des tests de benchmark.…
7.2Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
11.1%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 3Temps de réponse (moy.)29.03sTemps de réponse (max)81.45sTemps de réponse (total)87.10sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
4.7Score moyen sur l’ensemble des tests de benchmark.…
1.6Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
66.7%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)36.45sTemps de réponse (max)36.45sTemps de réponse (total)36.45sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
4.7Score moyen sur l’ensemble des tests de benchmark.…
3.1Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
33.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.N'a pas suivi les instructions: 1Temps de réponse (moy.)2.35sTemps de réponse (max)2.35sTemps de réponse (total)2.35sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
9.8Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)11.26sTemps de réponse (max)19.26sTemps de réponse (total)22.53sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
9.9Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)2.58sTemps de réponse (max)2.93sTemps de réponse (total)5.16sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
7.6Score moyen sur l’ensemble des tests de benchmark.…
7.2Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
77.8%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)15.91sTemps de réponse (max)17.11sTemps de réponse (total)47.73sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
5.9Score moyen sur l’ensemble des tests de benchmark.…
4.5Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
66.7%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
2Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Temps de réponse (moy.)3.20sTemps de réponse (max)3.85sTemps de réponse (total)9.60sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
4.7Score moyen sur l’ensemble des tests de benchmark.…
1.6Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
66.7%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)35.09sTemps de réponse (max)35.09sTemps de réponse (total)35.09sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)19.02sTemps de réponse (max)19.02sTemps de réponse (total)19.02sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)52.23sTemps de réponse (max)52.23sTemps de réponse (total)52.23sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)9.87sTemps de réponse (max)9.87sTemps de réponse (total)9.87sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…