AI Benchy Bestenliste

Name: AI BENCHY Modell-Benchmark-Ergebnisse
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-10-17 Bewertete Modelle: 442

Empfohlene Modelle

GPT-6.1 Sol xhigh Intelligent Erfolgsquote pro Versuch 97.1% Korrekte Tests 22 / 23 Punktzahl 9.9/10 Gemini 3.7 Flash low Schnell Antwortzeit (Durchschnitt) 6.24s Gesamte Ausgabe-Token 38,453 Punktzahl 9.4/10 GPT-6 Luna high Preiswert Eingabepreis $0.100 / 1M Ausgabepreis $0.500 / 1M Preis für Cache-Lesen $0.010 / 1M Preis für Cache-Schreiben $0.125 / 1M Punktzahl 7.7/10

442/442

Rang	Modell	Punktzahl	Unternehmen	Gesamtkosten	Antwortzeit (Durchschnitt)
#171#171	LongCat 2.0medium	7.2	Meituan	$0.767 ↑	144.88s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 11 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 59.4% Instabile Tests 3 Eingabe-Token 287,669 Ausgabe-Token 47,204 Denk-Token 375,030 Antwortzeit (Durchschnitt) 144.88s Antwortzeit (Gesamt) 3332.19s Antwortzeit (Maximum) 939.52s Falsche Antwort: 8 API-Fehler: 1 Keine Antwort: 1 Zeitüberschreitung: 1 Agentenaufgaben : 6.1 Anti-KI-Tricks : 10.0 Programmierung : 10.0 Kombiniert : 7.3 Datenanalyse und -extraktion : 6.3 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 4.8 Befolgung von Anweisungen : 6.5 Rätsellösen : 5.4 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#206#206	Solar Pro 4low	6.7	Upstage	$0.101 ↑	145.21s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 12 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 60.9% Instabile Tests 7 Eingabe-Token 384,974 Ausgabe-Token 13,946 Denk-Token 371,916 Antwortzeit (Durchschnitt) 145.21s Antwortzeit (Gesamt) 3339.87s Antwortzeit (Maximum) 640.89s Falsche Antwort: 7 Anweisungen nicht befolgt: 2 API-Fehler: 1 Keine Antwort: 1 Zeitüberschreitung: 1 Agentenaufgaben : 6.1 Anti-KI-Tricks : 8.2 Programmierung : 5.5 Kombiniert : 6.3 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 2.9 Allgemeine Intelligenz : 5.5 Befolgung von Anweisungen : 8.0 Rätsellösen : 9.0 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#67#67	MiMo-V2.6-Promedium	8.7	Xiaomi	$0.586	148.11s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 9 Zuverlässigkeit 9.5 Erfolgsquote pro Versuch 78.3% Instabile Tests 7 Eingabe-Token 298,476 Ausgabe-Token 7,762 Denk-Token 515,918 Antwortzeit (Durchschnitt) 148.11s Antwortzeit (Gesamt) 3406.53s Antwortzeit (Maximum) 904.91s Zusätzliche Formatierung: 3 Falsche Antwort: 3 Anweisungen nicht befolgt: 1 Keine Antwort: 1 Zeitüberschreitung: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 7.3 Programmierung : 8.2 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 2.9 Allgemeine Intelligenz : 10.0 Befolgung von Anweisungen : 8.4 Rätsellösen : 8.4 Werkzeugaufrufe : 10.0 Allgemeinwissen : 2.8
#385#385	GLM 4.7 Flashmedium	4.2	Z.ai	$0.193	150.90s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 19 Zuverlässigkeit 9.4 Erfolgsquote pro Versuch 30.4% Instabile Tests 8 Eingabe-Token 228,711 Ausgabe-Token 42,254 Denk-Token 422,121 Antwortzeit (Durchschnitt) 150.90s Antwortzeit (Gesamt) 2414.33s Antwortzeit (Maximum) 1539.97s Falsche Antwort: 10 Keine Antwort: 3 Anweisungen nicht befolgt: 2 Ungültiger Werkzeugaufruf: 2 Zeitüberschreitung: 2 Agentenaufgaben : 3.9 Anti-KI-Tricks : 4.7 Programmierung : 3.2 Kombiniert : 2.9 Datenanalyse und -extraktion : 6.3 Domänenspezifisch : 3.5 Allgemeine Intelligenz : 3.6 Befolgung von Anweisungen : 6.2 Rätsellösen : 2.9 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#162#162	LongCat 2.0high	7.3	Meituan	$0.778 ↑	151.67s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 13 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 53.6% Instabile Tests 4 Eingabe-Token 275,080 Ausgabe-Token 32,447 Denk-Token 372,188 Antwortzeit (Durchschnitt) 151.67s Antwortzeit (Gesamt) 3488.43s Antwortzeit (Maximum) 941.66s Falsche Antwort: 7 Anweisungen nicht befolgt: 2 Keine Antwort: 2 Zeitüberschreitung: 2 Agentenaufgaben : 10.0 Anti-KI-Tricks : 8.9 Programmierung : 7.8 Kombiniert : 10.0 Datenanalyse und -extraktion : 3.6 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 5.1 Befolgung von Anweisungen : 6.5 Rätsellösen : 3.1 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#30#30	Muse Spark Openhigh	9.2	Meta	$1.782	151.96s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 6 Zuverlässigkeit 9.4 Erfolgsquote pro Versuch 76.8% Instabile Tests 1 Eingabe-Token 270,889 Ausgabe-Token 10,688 Denk-Token 328,857 Antwortzeit (Durchschnitt) 151.96s Antwortzeit (Gesamt) 3495.01s Antwortzeit (Maximum) 960.01s Zeitüberschreitung: 2 Falsche Antwort: 2 API-Fehler: 1 Anweisungen nicht befolgt: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 8.3 Programmierung : 10.0 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 10.0 Befolgung von Anweisungen : 9.8 Rätsellösen : 7.9 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#185#185	Step 5 Previewhigh	7.0	Stepfun	$4.513	154.41s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 13 Zuverlässigkeit 9.5 Erfolgsquote pro Versuch 52.2% Instabile Tests 4 Eingabe-Token 243,381 Ausgabe-Token 1,581,325 Denk-Token 0 Antwortzeit (Durchschnitt) 154.41s Antwortzeit (Gesamt) 3551.40s Antwortzeit (Maximum) 455.72s Keine Antwort: 7 Falsche Antwort: 3 API-Fehler: 2 Anweisungen nicht befolgt: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 6.5 Programmierung : 2.9 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.4 Befolgung von Anweisungen : 7.3 Rätsellösen : 5.8 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#29#29	Seed 2.1 Turbolow	9.3	Bytedance Seed	$1.645	161.25s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 5 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 81.2% Instabile Tests 2 Eingabe-Token 241,855 Ausgabe-Token 8,387 Denk-Token 600,946 Antwortzeit (Durchschnitt) 161.25s Antwortzeit (Gesamt) 3708.70s Antwortzeit (Maximum) 739.98s Falsche Antwort: 3 Keine Antwort: 2 Agentenaufgaben : 10.0 Anti-KI-Tricks : 8.2 Programmierung : 10.0 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 2.9 Allgemeine Intelligenz : 10.0 Befolgung von Anweisungen : 9.8 Rätsellösen : 10.0 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#66#66	Qwen3.8 27Bhigh	8.7	Qwen	~$0.298	166.34s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 6 Zuverlässigkeit 9.7 Erfolgsquote pro Versuch 78.3% Instabile Tests 2 Eingabe-Token 348,967 Ausgabe-Token 1,005 Denk-Token 676,075 Antwortzeit (Durchschnitt) 166.34s Antwortzeit (Gesamt) 3825.81s Antwortzeit (Maximum) 640.85s Anweisungen nicht befolgt: 2 Keine Antwort: 2 Falsche Antwort: 2 Agentenaufgaben : 10.0 Anti-KI-Tricks : 10.0 Programmierung : 8.1 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 5.0 Befolgung von Anweisungen : 9.8 Rätsellösen : 7.6 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#42#42	Seed 2.1 Turbohigh	9.1	Bytedance Seed	$1.892	170.52s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 6 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 79.7% Instabile Tests 3 Eingabe-Token 246,954 Ausgabe-Token 8,378 Denk-Token 698,942 Antwortzeit (Durchschnitt) 170.52s Antwortzeit (Gesamt) 3922.04s Antwortzeit (Maximum) 584.71s Falsche Antwort: 4 Anweisungen nicht befolgt: 1 Keine Antwort: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 8.2 Programmierung : 10.0 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 2.9 Allgemeine Intelligenz : 6.5 Befolgung von Anweisungen : 9.8 Rätsellösen : 10.0 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 5 Zuverlässigkeit 9.8 Erfolgsquote pro Versuch 87.0% Instabile Tests 3 Eingabe-Token 328,637 Ausgabe-Token 8,619 Denk-Token 432,733 Antwortzeit (Durchschnitt) 186.06s Antwortzeit (Gesamt) 4279.49s Antwortzeit (Maximum) 912.78s Falsche Antwort: 2 Anweisungen nicht befolgt: 1 Ungültiger Werkzeugaufruf: 1 Zeitüberschreitung: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 10.0 Programmierung : 10.0 Kombiniert : 8.7 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 5.9 Allgemeine Intelligenz : 6.5 Befolgung von Anweisungen : 9.8 Rätsellösen : 10.0 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#68#68	Seed 2.1 Turbomedium	8.7	Bytedance Seed	$2.042	189.13s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 7 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 79.7% Instabile Tests 5 Eingabe-Token 234,572 Ausgabe-Token 8,019 Denk-Token 761,563 Antwortzeit (Durchschnitt) 189.13s Antwortzeit (Gesamt) 4349.92s Antwortzeit (Maximum) 885.33s Falsche Antwort: 5 Anweisungen nicht befolgt: 1 Keine Antwort: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 8.2 Programmierung : 8.2 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 2.9 Allgemeine Intelligenz : 6.1 Befolgung von Anweisungen : 9.8 Rätsellösen : 9.9 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#319#319	Step 3.5 Flashmedium	5.4	Stepfun	$0.105	190.48s
Modellkarte anzeigen Gesamttests 22 Falsche Tests 12 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 49.3% Instabile Tests 3 Eingabe-Token 139,086 Ausgabe-Token 193,584 Denk-Token 413,546 Antwortzeit (Durchschnitt) 190.48s Antwortzeit (Gesamt) 3238.23s Antwortzeit (Maximum) 1597.85s Falsche Antwort: 6 Anweisungen nicht befolgt: 3 API-Fehler: 1 Keine Antwort: 1 Zeitüberschreitung: 1 Agentenaufgaben : 2.8 Anti-KI-Tricks : 10.0 Programmierung : 2.4 Kombiniert : 6.5 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.5 Allgemeine Intelligenz : 5.5 Befolgung von Anweisungen : 8.3 Rätsellösen : 5.3 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#317#317	Hy4 previewlow	5.4	Tencent	$1.844	207.21s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 20 Zuverlässigkeit 6.5 Erfolgsquote pro Versuch 21.7% Instabile Tests 4 Eingabe-Token 162,180 Ausgabe-Token 5,030 Denk-Token 682,447 Antwortzeit (Durchschnitt) 207.21s Antwortzeit (Gesamt) 4765.91s Antwortzeit (Maximum) 597.45s Falsche Antwort: 13 API-Fehler: 5 Anweisungen nicht befolgt: 1 Keine Antwort: 1 Agentenaufgaben : 4.7 Anti-KI-Tricks : 6.0 Programmierung : 5.2 Kombiniert : 2.9 Datenanalyse und -extraktion : 8.7 Domänenspezifisch : 4.5 Allgemeine Intelligenz : 7.5 Befolgung von Anweisungen : 9.8 Rätsellösen : 5.3 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#362#362	Granite 4.2 8Bhigh	4.7	IBM Granite	$0.111	235.35s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 19 Zuverlässigkeit 8.2 Erfolgsquote pro Versuch 37.7% Instabile Tests 10 Eingabe-Token 282,658 Ausgabe-Token 198,563 Denk-Token 462,804 Antwortzeit (Durchschnitt) 235.35s Antwortzeit (Gesamt) 5413.09s Antwortzeit (Maximum) 685.87s Zeitüberschreitung: 10 Falsche Antwort: 7 Ungültiger Werkzeugaufruf: 1 Keine Antwort: 1 Agentenaufgaben : 5.0 Anti-KI-Tricks : 6.9 Programmierung : 3.8 Kombiniert : 5.0 Datenanalyse und -extraktion : 3.8 Domänenspezifisch : 2.9 Allgemeine Intelligenz : 5.5 Befolgung von Anweisungen : 6.4 Rätsellösen : 2.9 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#146#146	Mistral Large 4high	7.5	Mistral	$1.391	263.69s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 11 Zuverlässigkeit 9.0 Erfolgsquote pro Versuch 65.2% Instabile Tests 6 Eingabe-Token 230,895 Ausgabe-Token 161,281 Denk-Token 510,655 Antwortzeit (Durchschnitt) 263.69s Antwortzeit (Gesamt) 6064.89s Antwortzeit (Maximum) 1727.29s Falsche Antwort: 6 Anweisungen nicht befolgt: 2 Keine Antwort: 2 Zeitüberschreitung: 1 Agentenaufgaben : 10.0 Anti-KI-Tricks : 8.3 Programmierung : 3.3 Kombiniert : 10.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.5 Allgemeine Intelligenz : 10.0 Befolgung von Anweisungen : 8.4 Rätsellösen : 5.4 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 22 Zuverlässigkeit 7.3 Erfolgsquote pro Versuch 26.1% Instabile Tests 11 Eingabe-Token 98,467 Ausgabe-Token 3,385 Denk-Token 104,595 Antwortzeit (Durchschnitt) 371.69s Antwortzeit (Gesamt) 8548.88s Antwortzeit (Maximum) 971.85s Falsche Antwort: 9 Zeitüberschreitung: 6 API-Fehler: 4 Anweisungen nicht befolgt: 3 Agentenaufgaben : 3.0 Anti-KI-Tricks : 3.8 Programmierung : 4.2 Kombiniert : 3.0 Datenanalyse und -extraktion : 2.9 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 3.2 Befolgung von Anweisungen : 4.3 Rätsellösen : 2.9 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0

←

1 17 18

Globale Benchmark-Trends

Sieh, wie aktuelle Modelle Score, Kosten, Geschwindigkeit, Ausgabelänge und Kategoriestärke ausbalancieren.

Diagramme →

Pareto-Frontier: Intelligenz vs. Kosten

Score-Frontier führender Unternehmen im Zeitverlauf

Pareto-Frontier: Intelligenz vs. Antwortgeschwindigkeit

Pareto-Frontier: Score vs. Ausgabe-Tokens

Kategorieschwierigkeit über alle Modelle

Schnellvergleich

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow