Classement Programmation x Erreur API

Échecs par catégorie AI BENCHY

Voyez quels modèles d'IA ont le plus de chances de rencontrer Erreur API sur Programmation, pour repérer plus vite les points faibles.

Modèles affichés

Échecs totaux

Modèle le plus touché

Raisons d'échec

Mauvaise réponse120 Aucune réponse18 N'a pas suivi les instructions16 Délai dépassé12 Mise en forme supplémentaire7 Erreur API6

Catégories

Analyse et extraction des données10 Appel d'outils6 Programmation6 Combiné5 Spécifique au domaine3 Résolution d'énigmes1

Rang	Modèle	Entreprise	Nombre de Erreur API	Score de catégorie	Tests corrects	Temps de réponse (moy.)
#19	Gemini 3 PRO Preview medium	Google	1	3.0	0/2	0ms
#32	Step 3.5 Flash none	Stepfun	1	3.0	0/1	0ms
#33	Qwen3.6 Plus medium	Qwen	1	4.1	0/2	201.7s
#75	Hunter Alpha medium	OpenRouter	1	3.0	0/1	0ms
#96	Nemotron 3 Super medium	NVIDIA	1	3.1	0/2	62.4s
#108	Hunter Alpha none	OpenRouter	1	3.0	0/1	0ms

Meilleurs modèles par Nombre de Erreur API