Kev 4B (default) vs GPT-6 Luna Decisions (default)
Le score moyen est pratiquement à égalité avec 2.4 vs 2.4. Kev 4B (default) a le coût de benchmark le plus bas avec $0.002 vs $0.005. GPT-6 Luna Decisions (default) est plus rapide avec 495ms vs 5.63s, avec des taux de réussite de 15.9% vs 13.0%.
Benchmarks générés à partir des suites de tests AI BENCHY le:
2026-10-07
Modèles comparés
Rang
#391
Total des jetons de sortie
28,061
Temps de réponse (moy.)
5.63s
Coût total
$0.002
Rang
#390
Total des jetons de sortie
0
Temps de réponse (moy.)
495ms
Coût total
$0.005
Modèle recommandéGPT-6 Luna Decisions (default)
Il obtient le meilleur score ici (2.4) et répond environ 11.4x plus vite que Kev 4B (default).
Comparaison détaillée
Métrique
Kev 4BKev 4Bdefault36/69 tentatives. Les adaptateurs fournissent les choix. 12/23 tests sont pris en charge. Les autres sont incompatibles, pas échoués. Le score utilise la suite complète.Sortie: 2026-09-28
GPT-6 Luna DecisionsGPT-6 Luna Decisionsdefault36/69 tentatives. Les adaptateurs fournissent les choix. 12/23 tests sont pris en charge. Les autres sont incompatibles, pas échoués. Le score utilise la suite complète.Sortie: 2026-10-07
Métrique
Kev 4BKev 4Bdefault36/69 tentatives. Les adaptateurs fournissent les choix. 12/23 tests sont pris en charge. Les autres sont incompatibles, pas échoués. Le score utilise la suite complète.Sortie: 2026-09-28
GPT-6 Luna DecisionsGPT-6 Luna Decisionsdefault36/69 tentatives. Les adaptateurs fournissent les choix. 12/23 tests sont pris en charge. Les autres sont incompatibles, pas échoués. Le score utilise la suite complète.Sortie: 2026-10-07
Score
2.4Score moyen sur l’ensemble des tests de benchmark.…
2.4Score moyen sur l’ensemble des tests de benchmark.…
Rang
#391
#390
Fiabilité
10.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
10.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
Cohérence
4.9Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
5.2Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
Tentatives
36/69
36/69
Tests corrects
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 9Temps de réponse (moy.)5.63sTemps de réponse (max)17.79sTemps de réponse (total)67.61sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 8N'a pas suivi les instructions: 1Temps de réponse (moy.)495msTemps de réponse (max)842msTemps de réponse (total)5.94sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Taux de réussite par tentative
15.9%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
13.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
Tests instables
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Exécutions totales
36Exécutions totales…
36Exécutions totales…
Coût par résultat
0.060
0.159
Coût total
$0.002
$0.005
Prix d'entrée
$0.042 / 1MPrix d'entrée…
$0.100 / 1MPrix d'entrée…
Prix de sortie
$0.000 / 1MPrix de sortie…
$0.000 / 1MPrix de sortie…
Prix de lecture du cache
N/DPrix de lecture du cache…
$0.000 / 1MPrix de lecture du cache…
Prix d’écriture du cache
N/DPrix d’écriture du cache…
$0.000 / 1MPrix d’écriture du cache…
Total des jetons d'entrée
42,804Total des jetons d'entrée…
47,583Total des jetons d'entrée…
Jetons de sortie
28,061Jetons de sortie…
0Jetons de sortie…
Jetons de raisonnement
0Jetons de raisonnement…
0Jetons de raisonnement…
Temps de réponse (moy.)
5.63sTemps de réponse (moy.)…
495msTemps de réponse (moy.)…
Temps de réponse (max)
17.79sTemps de réponse (max)…
842msTemps de réponse (max)…
Temps de réponse (total)
67.61sTemps de réponse (total)…
5.94sTemps de réponse (total)…
Paramètres
4B
~400B au total (~17B actifs)
Disponibilité
Open source
Source fermée
Les prix du cache concernent les tokens d’entrée. La lecture réutilise les prompts en cache ; l’écriture les stocke et peut coûter plus cher. Les tokens de sortie utilisent le prix de sortie.
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
2.3Score moyen sur l’ensemble des tests de benchmark.…
7.5Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 3Temps de réponse (moy.)3.65sTemps de réponse (max)9.32sTemps de réponse (total)10.95sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
2.3Score moyen sur l’ensemble des tests de benchmark.…
7.5Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 3Temps de réponse (moy.)436msTemps de réponse (max)476msTemps de réponse (total)1.31sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
4.5Score moyen sur l’ensemble des tests de benchmark.…
6.7Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
33.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)771msTemps de réponse (max)954msTemps de réponse (total)1.54sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
2.5Score moyen sur l’ensemble des tests de benchmark.…
6.7Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Temps de réponse (moy.)447msTemps de réponse (max)454msTemps de réponse (total)894msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
6.5Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
50.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)9.09sTemps de réponse (max)17.37sTemps de réponse (total)18.18sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)411msTemps de réponse (max)431msTemps de réponse (total)822msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
5.3Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
33.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Temps de réponse (moy.)6.34sTemps de réponse (max)17.79sTemps de réponse (total)19.02sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
5.3Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
33.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Temps de réponse (moy.)554msTemps de réponse (max)683msTemps de réponse (total)1.66sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
1.5Score moyen sur l’ensemble des tests de benchmark.…
5.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)17.27sTemps de réponse (max)17.27sTemps de réponse (total)17.27sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
1.5Score moyen sur l’ensemble des tests de benchmark.…
5.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)842msTemps de réponse (max)842msTemps de réponse (total)842msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
2.0Score moyen sur l’ensemble des tests de benchmark.…
1.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
22.2%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)646msTemps de réponse (max)646msTemps de réponse (total)646msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
1.7Score moyen sur l’ensemble des tests de benchmark.…
3.3Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.N'a pas suivi les instructions: 1Temps de réponse (moy.)414msTemps de réponse (max)414msTemps de réponse (total)414msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…