Classement Résolution d'énigmes x N'a pas suivi les instructions

Voyez quels modèles d'IA ont le plus de chances de rencontrer N'a pas suivi les instructions sur Résolution d'énigmes, pour repérer plus vite les points faibles.

Modèles affichés

Échecs totaux

166

Modèle le plus touché

Minimax M3.1 Flash 2

Raisons d'échec

Mauvaise réponse352 N'a pas suivi les instructions166 Erreur API35 Mise en forme supplémentaire16 Aucune réponse14 Délai dépassé11

Catégories

Résolution d'énigmes166 Intelligence générale142 Suivi des instructions77 Astuces anti-IA52 Programmation50 Appel d'outils13 Tâches agentiques10 Analyse et extraction des données8 Spécifique au domaine3 Combiné1

157/157

Rang	Modèle	Entreprise	Nombre de N'a pas suivi les instructions	Score de catégorie	Coût total	Tests corrects	Temps de réponse (moy.)
#422	Grok Build 0.1 none	X AI	1	0.6	$0.547	1/3	9.55s
Tests totaux 3 Tests incorrects 2 Coût total $0.547 Temps de réponse (moy.) 9.55s
#430	d1-ultra default	Liquid	1	0.2	$0.003	0/1	485ms
Tests totaux 1 Tests incorrects 1 Coût total $0.003 Temps de réponse (moy.) 485ms
#431	Nemotron 3 Nano Omni 30b A3b Reasoning default	NVIDIA	1	0.3	$0.000	0/3	532ms
Tests totaux 3 Tests incorrects 3 Coût total $0.000 Temps de réponse (moy.) 532ms
#433	Decider V1.2 default	Perplexity	1	0.2	$0.001	0/1	490ms
Tests totaux 1 Tests incorrects 1 Coût total $0.001 Temps de réponse (moy.) 490ms
#436	GPT-6 Luna Decisions default	OpenAI	1	0.2	$0.005	0/1	414ms
Tests totaux 1 Tests incorrects 1 Coût total $0.005 Temps de réponse (moy.) 414ms
#438	Jev 1.14 default	Typesafe	1	0.2	$0.003	0/1	270ms
Tests totaux 1 Tests incorrects 1 Coût total $0.003 Temps de réponse (moy.) 270ms
#450	Nimble v3 9B default	Bespoke Labs	1	0.2	~$0.001	0/1	79ms
Tests totaux 1 Tests incorrects 1 Coût total ~$0.001 Temps de réponse (moy.) 79ms

Filtrer les modèles

Meilleurs modèles par Nombre de N'a pas suivi les instructions

Nombre de N'a pas suivi les instructions vs Score

Meilleurs modèles par Temps de réponse (moy.)

Meilleurs modèles par Coût gaspillé estimé

Résolution d'énigmes : N'a pas suivi les instructions

Filtrer les modèles

Meilleurs modèles par Nombre de N'a pas suivi les instructions

Nombre de N'a pas suivi les instructions vs Score

Meilleurs modèles par Temps de réponse (moy.)

Meilleurs modèles par Coût gaspillé estiméEstimation de l’électricité consommée par le GPU uniquement. Le reste de l’ordinateur et l’achat du matériel ne sont pas inclus. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.

Meilleurs modèles par Coût gaspillé estimé