Classement Programmation x Délai dépassé

Échecs par catégorie AI BENCHY

Voyez quels modèles d'IA ont le plus de chances de rencontrer Délai dépassé sur Programmation, pour repérer plus vite les points faibles.

Modèles affichés

Échecs totaux

Modèle le plus touché

Raisons d'échec

Mauvaise réponse230 Erreur API43 Délai dépassé23 Aucune réponse18 N'a pas suivi les instructions16 Mise en forme supplémentaire12

Catégories

Spécifique au domaine36 Programmation23 Résolution d'énigmes5 Astuces anti-IA4 Intelligence générale4 Combiné2 Analyse et extraction des données1 Suivi des instructions1

21/21

Rang	Modèle	Entreprise	Nombre de Délai dépassé	Score de catégorie	Coût total	Tests corrects	Temps de réponse (moy.)
#93	Step 3.5 Flash medium	Stepfun	1	2.4	$0.070	0/2	258.4s
Tests totaux 2 Tests incorrects 2 Coût total $0.070 Temps de réponse (moy.) 258.4s
#103	Qwen3.5-35B-A3B medium	Qwen	1	5.9	$0.401	1/3	206.6s
Tests totaux 3 Tests incorrects 2 Coût total $0.401 Temps de réponse (moy.) 206.6s
#138	Gemma 4 26B A4B none	Google	1	3.7	$0.004	0/3	4.16s
Tests totaux 3 Tests incorrects 3 Coût total $0.004 Temps de réponse (moy.) 4.16s
#165	MiniMax M2.5 medium	Minimax	1	3.4	$0.303	0/3	188.6s
Tests totaux 3 Tests incorrects 3 Coût total $0.303 Temps de réponse (moy.) 188.6s
#167	Qwen3 Coder Next medium	Qwen	1	3.7	$0.008	0/3	924ms
Tests totaux 3 Tests incorrects 3 Coût total $0.008 Temps de réponse (moy.) 924ms
#184	Qwen3.5-9B medium	Qwen	1	2.9	$0.036	0/3	100.9s
Tests totaux 3 Tests incorrects 3 Coût total $0.036 Temps de réponse (moy.) 100.9s

Filtrer les modèles