Ranking für Programmierung x Anweisungen nicht befolgt

Sieh, welche KI-Modelle bei Programmierung am ehesten auf Anweisungen nicht befolgt stoßen, damit du Schwachstellen schneller erkennst. Sortieren nach: Korrekte Tests ↓.

Angezeigte Modelle

Gesamtfehler

Am stärksten betroffenes Modell

Qwen3.8 27B 1

Fehlergründe

Falsche Antwort456 API-Fehler64 Anweisungen nicht befolgt41 Keine Antwort41 Zusätzliche Formatierung36 Zeitüberschreitung24

Kategorien

Rätsellösen147 Allgemeine Intelligenz134 Befolgung von Anweisungen65 Anti-KI-Tricks49 Programmierung41 Werkzeugaufrufe12 Agentenaufgaben10 Datenanalyse und -extraktion8 Domänenspezifisch3 Kombiniert1

38/38

Rang	Modell	Unternehmen	Anweisungen nicht befolgt-Anzahl	Kategorie-Score	Gesamtkosten	Korrekte Tests	Antwortzeit (Durchschnitt)
#56	Qwen3.8 27B high	Qwen	1	0.8	~$0.298	2/3	248.6s
Gesamttests 3 Falsche Tests 1 Gesamtkosten ~$0.298 Antwortzeit (Durchschnitt) 248.6s
#64	Claude Haiku 5.5 low	Anthropic	1	0.8	$0.061	2/3	7.30s
Gesamttests 3 Falsche Tests 1 Gesamtkosten $0.061 Antwortzeit (Durchschnitt) 7.30s
#107	Gemini 3.5 Flash medium	Google	1	0.8	$1.316	2/3	12.6s
Gesamttests 3 Falsche Tests 1 Gesamtkosten $1.316 Antwortzeit (Durchschnitt) 12.6s
#160	Qwen3.8 Flash Next xhigh	Qwen	1	0.7	~$0.195	2/3	192.2s
Gesamttests 3 Falsche Tests 1 Gesamtkosten ~$0.195 Antwortzeit (Durchschnitt) 192.2s
#245	Trinity Large Thinking medium	Arcee AI	1	0.8	$0.862	2/3	179.0s
Gesamttests 3 Falsche Tests 1 Gesamtkosten $0.862 Antwortzeit (Durchschnitt) 179.0s
#77	DeepSeek V4 Flash 0731 high	DeepSeek	1	0.6	$0.576	1/3	252.7s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $0.576 Antwortzeit (Durchschnitt) 252.7s
#108	Qwen3.8 2.4T A95B high	Qwen	1	0.6	$2.949	1/3	160.5s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $2.949 Antwortzeit (Durchschnitt) 160.5s
#131	Seed-2.0-Code high	Bytedance Seed	1	0.6	$1.448	1/3	266.7s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $1.448 Antwortzeit (Durchschnitt) 266.7s
#139	DeepSeek V4 Pro 0423 none	DeepSeek	1	0.6	$0.083	1/3	13.4s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $0.083 Antwortzeit (Durchschnitt) 13.4s
#178	Claude Opus 4.8 none	Anthropic	1	0.5	$2.334	1/3	3.29s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $2.334 Antwortzeit (Durchschnitt) 3.29s
#206	Mercury 2.5 Preview high	Inception	1	0.7	$0.040	1/3	6.13s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $0.040 Antwortzeit (Durchschnitt) 6.13s
#219	Gemini 3.5 Flash minimal	Google	1	0.6	$0.508	1/3	2.75s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $0.508 Antwortzeit (Durchschnitt) 2.75s
#231	Ling 3.1 Flash low	Inclusionai	1	0.6	$0.000	1/3	107.3s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $0.000 Antwortzeit (Durchschnitt) 107.3s
#232	Claude Opus 4.6 medium	Anthropic	1	0.6	$2.961	1/3	30.1s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $2.961 Antwortzeit (Durchschnitt) 30.1s
#266	DeepSeek V4.1 Flash none	DeepSeek	1	0.6	$0.391	1/3	83.7s
Gesamttests 3 Falsche Tests 2 Gesamtkosten $0.391 Antwortzeit (Durchschnitt) 83.7s

Modelle filtern

Top-Modelle nach Anweisungen nicht befolgt-Anzahl

Anweisungen nicht befolgt-Anzahl vs Punktzahl

Top-Modelle nach Antwortzeit (Durchschnitt)

Top-Modelle nach Geschätzte verschwendete Kosten

Programmierung: Anweisungen nicht befolgt

Modelle filtern

Top-Modelle nach Anweisungen nicht befolgt-Anzahl

Anweisungen nicht befolgt-Anzahl vs Punktzahl

Top-Modelle nach Antwortzeit (Durchschnitt)

Top-Modelle nach Geschätzte verschwendete KostenNur geschätzte GPU-Stromkosten. Der übrige Computer und die Anschaffungskosten der Hardware sind nicht enthalten. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.

Top-Modelle nach Geschätzte verschwendete Kosten