Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-05-22
Métrique
LFM2-24B-A2BLFM2-24B-A2BnoneModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.Sortie: 2026-02-24
Hy3 previewHy3 previewhighModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.Sortie: 2026-04-22
Métrique
LFM2-24B-A2BLFM2-24B-A2BnoneModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.Sortie: 2026-02-24
Hy3 previewHy3 previewhighModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.Sortie: 2026-04-22
Score
4.2Score moyen sur l’ensemble des tests de benchmark.…
8.0Score moyen sur l’ensemble des tests de benchmark.…
Rang
#152
#22
Fiabilité
N/DScore de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
10.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
Cohérence
9.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
9.5Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
Tests corrects
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 8Erreur API: 4N'a pas suivi les instructions: 2Temps de réponse (moy.)811msTemps de réponse (max)2.88sTemps de réponse (total)11.35sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 3Erreur API: 1Temps de réponse (moy.)56.77sTemps de réponse (max)149.94sTemps de réponse (total)851.49sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Taux de réussite par tentative
18.8%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
77.1%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
Tests instables
2Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Exécutions totales
48Exécutions totales…
60Exécutions totales…
Coût par résultat
0.024Affiche le coût moyen par réponse correcte du benchmark, en centimes (plus bas est meilleur).…
0.000Affiche le coût moyen par réponse correcte du benchmark, en centimes (plus bas est meilleur).…
Coût total
$0.001Coût total…
$0.000Coût total…
Prix d'entrée
$0.030 / 1MPrix d'entrée…
$0.066 / 1MPrix d'entrée…
Prix de sortie
$0.120 / 1MPrix de sortie…
$0.260 / 1MPrix de sortie…
Jetons de sortie
1,185Jetons de sortie…
216,503Jetons de sortie…
Jetons de raisonnement
0Jetons de raisonnement…
0Jetons de raisonnement…
Temps de réponse (moy.)
811msTemps de réponse (moy.)…
56.77sTemps de réponse (moy.)…
Temps de réponse (max)
2.88sTemps de réponse (max)…
149.94sTemps de réponse (max)…
Temps de réponse (total)
11.35sTemps de réponse (total)…
851.49sTemps de réponse (total)…
Meilleurs modèles par score
Score vs coût total
Temps de réponse (moy.)
Score vs Temps de réponse (moy.)
Total des jetons de sortie
Score vs Total des jetons de sortie
Répartition par catégorie
Astuces anti-IA
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.3Score moyen sur l’ensemble des tests de benchmark.…
9.8Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 3Temps de réponse (moy.)471msTemps de réponse (max)872msTemps de réponse (total)1.41sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
471msTemps de réponse (moy.)…
490Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
8.9Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)15.12sTemps de réponse (max)19.99sTemps de réponse (total)45.37sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
15.12sTemps de réponse (moy.)…
6,839Jetons de sortie…
0Jetons de raisonnement…
Combiné
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0msTemps de réponse (moy.)…
0Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)113.09sTemps de réponse (max)113.09sTemps de réponse (total)113.09sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
113.09sTemps de réponse (moy.)…
31,319Jetons de sortie…
0Jetons de raisonnement…
Analyse et extraction des données
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Temps de réponse (moy.)714msTemps de réponse (max)987msTemps de réponse (total)1.43sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
714msTemps de réponse (moy.)…
219Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
6.5Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
50.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)12.11sTemps de réponse (max)12.11sTemps de réponse (total)12.11sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
12.11sTemps de réponse (moy.)…
4,323Jetons de sortie…
0Jetons de raisonnement…
Spécifique au domaine
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
5.9Score moyen sur l’ensemble des tests de benchmark.…
7.2Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
55.6%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Mauvaise réponse: 1Temps de réponse (moy.)287msTemps de réponse (max)334msTemps de réponse (total)860msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
287msTemps de réponse (moy.)…
30Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
5.3Score moyen sur l’ensemble des tests de benchmark.…
7.2Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
44.4%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 2Temps de réponse (moy.)109.04sTemps de réponse (max)149.94sTemps de réponse (total)327.11sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
109.04sTemps de réponse (moy.)…
87,559Jetons de sortie…
0Jetons de raisonnement…
Intelligence générale
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
4.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.N'a pas suivi les instructions: 1Temps de réponse (moy.)395msTemps de réponse (max)395msTemps de réponse (total)395msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
395msTemps de réponse (moy.)…
72Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0msTemps de réponse (moy.)…
0Jetons de sortie…
0Jetons de raisonnement…
Suivi des instructions
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
6.3Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
50.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)1.09sTemps de réponse (max)1.90sTemps de réponse (total)2.18sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
1.09sTemps de réponse (moy.)…
60Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
9.9Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)34.02sTemps de réponse (max)41.83sTemps de réponse (total)68.04sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
34.02sTemps de réponse (moy.)…
13,331Jetons de sortie…
0Jetons de raisonnement…
Résolution d'énigmes
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.7Score moyen sur l’ensemble des tests de benchmark.…
7.7Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
11.1%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1N'a pas suivi les instructions: 1Mauvaise réponse: 1Temps de réponse (moy.)1.69sTemps de réponse (max)2.88sTemps de réponse (total)5.08sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
1.69sTemps de réponse (moy.)…
314Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)29.74sTemps de réponse (max)45.06sTemps de réponse (total)59.48sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
29.74sTemps de réponse (moy.)…
15,503Jetons de sortie…
0Jetons de raisonnement…
Appel d'outils
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
0msTemps de réponse (moy.)…
0Jetons de sortie…
0Jetons de raisonnement…
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)78.83sTemps de réponse (max)78.83sTemps de réponse (total)78.83sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
78.83sTemps de réponse (moy.)…
10,370Jetons de sortie…
0Jetons de raisonnement…
Programmation
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
-
-
-
-
-
-
-
-
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)99.76sTemps de réponse (max)99.76sTemps de réponse (total)99.76sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
99.76sTemps de réponse (moy.)…
38,167Jetons de sortie…
0Jetons de raisonnement…
Culture générale
Score
Cohérence
Taux de réussite par tentative
Tests instables
Tests corrects
Temps de réponse (moy.)
Jetons de sortie
Jetons de raisonnement
LFM2-24B-A2BModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
-
-
-
-
-
-
-
-
Hy3 previewModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)47.71sTemps de réponse (max)47.71sTemps de réponse (total)47.71sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…