AI Benchy Bestenliste

Name: AI BENCHY Modell-Benchmark-Ergebnisse
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-10-17 Bewertete Modelle: 442

Empfohlene Modelle

GPT-6.1 Sol xhigh Intelligent Erfolgsquote pro Versuch 97.1% Korrekte Tests 22 / 23 Punktzahl 9.9/10 Gemini 3.7 Flash low Schnell Antwortzeit (Durchschnitt) 6.24s Gesamte Ausgabe-Token 38,453 Punktzahl 9.4/10 GPT-6 Luna high Preiswert Eingabepreis $0.100 / 1M Ausgabepreis $0.500 / 1M Preis für Cache-Lesen $0.010 / 1M Preis für Cache-Schreiben $0.125 / 1M Punktzahl 7.7/10

442/442

Rang	Modell	Punktzahl	Unternehmen	Gesamtkosten	Antwortzeit (Durchschnitt)
#407#407	Grok 4.20none	3.4	X AI	$0.057 ↓	1.11s
Modellkarte anzeigen Gesamttests 18 Falsche Tests 12 Zuverlässigkeit k. A. Erfolgsquote pro Versuch 26.1% Instabile Tests 0 Eingabe-Token 41,313 Ausgabe-Token 1,923 Denk-Token 0 Antwortzeit (Durchschnitt) 1.11s Antwortzeit (Gesamt) 19.96s Antwortzeit (Maximum) 6.04s Falsche Antwort: 10 Zusätzliche Formatierung: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.8 Programmierung : 1.1 Kombiniert : 1.5 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 4.8 Befolgung von Anweisungen : 6.3 Rätsellösen : 5.3 Werkzeugaufrufe : 10.0 Allgemeinwissen : 0.0
#426#426	Drex v1.5default	2.4	Nace AI	$0.002	986ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 8 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 17.4% Instabile Tests 0 Eingabe-Token 42,804 Ausgabe-Token 27,468 Denk-Token 0 Antwortzeit (Durchschnitt) 986ms Antwortzeit (Gesamt) 11.84s Antwortzeit (Maximum) 1.38s Falsche Antwort: 8 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 4.5 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.0 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 11 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 7.3% Instabile Tests 1 Eingabe-Token 41,466 Ausgabe-Token 69 Denk-Token 0 Antwortzeit (Durchschnitt) 982ms Antwortzeit (Gesamt) 11.78s Antwortzeit (Maximum) 1.41s Falsche Antwort: 11 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.4 Programmierung : 2.2 Kombiniert : 0.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#431#431	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 10 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 8.7% Instabile Tests 0 Eingabe-Token 70,125 Ausgabe-Token 0 Denk-Token 0 Antwortzeit (Durchschnitt) 880ms Antwortzeit (Gesamt) 10.56s Antwortzeit (Maximum) 1.31s Falsche Antwort: 9 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 2.5 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#416#416	Laguna Xs.2default	3.1	Poolside	$0.004 ↕	806ms
Modellkarte anzeigen Gesamttests 19 Falsche Tests 14 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 21.7% Instabile Tests 0 Eingabe-Token 33,675 Ausgabe-Token 2,826 Denk-Token 0 Antwortzeit (Durchschnitt) 806ms Antwortzeit (Gesamt) 12.09s Antwortzeit (Maximum) 2.01s Falsche Antwort: 8 API-Fehler: 4 Anweisungen nicht befolgt: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 3.0 Programmierung : 0.8 Kombiniert : 1.5 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 6.5 Rätsellösen : 5.3 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
Modellkarte anzeigen Gesamttests 16 Falsche Tests 14 Zuverlässigkeit k. A. Erfolgsquote pro Versuch 11.6% Instabile Tests 1 Eingabe-Token 10,771 Ausgabe-Token 1,173 Denk-Token 0 Antwortzeit (Durchschnitt) 782ms Antwortzeit (Gesamt) 10.94s Antwortzeit (Maximum) 3.15s Falsche Antwort: 9 API-Fehler: 4 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 2.5 Programmierung : 0.0 Kombiniert : 1.5 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 5.9 Allgemeine Intelligenz : 4.0 Befolgung von Anweisungen : 6.3 Rätsellösen : 3.8 Werkzeugaufrufe : 3.0 Allgemeinwissen : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Modellkarte anzeigen Gesamttests 19 Falsche Tests 17 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 14.5% Instabile Tests 2 Eingabe-Token 11,661 Ausgabe-Token 1,302 Denk-Token 0 Antwortzeit (Durchschnitt) 728ms Antwortzeit (Gesamt) 9.47s Antwortzeit (Maximum) 2.21s Falsche Antwort: 9 API-Fehler: 6 Anweisungen nicht befolgt: 2 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.8 Programmierung : 3.3 Kombiniert : 1.5 Datenanalyse und -extraktion : 3.8 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 4.8 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#423#423	Jev 1.13default	2.6	Typesafe	$0.003	698ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 6 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 26.1% Instabile Tests 0 Eingabe-Token 67,092 Ausgabe-Token 18,927 Denk-Token 0 Antwortzeit (Durchschnitt) 698ms Antwortzeit (Gesamt) 8.38s Antwortzeit (Maximum) 1.08s Falsche Antwort: 6 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 2.2 Kombiniert : 0.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 7.7 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 3.3 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#421#421	d1-ultradefault	2.7	Liquid	$0.003	531ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 8 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 20.3% Instabile Tests 1 Eingabe-Token 55,956 Ausgabe-Token 0 Denk-Token 0 Antwortzeit (Durchschnitt) 531ms Antwortzeit (Gesamt) 6.38s Antwortzeit (Maximum) 697ms Falsche Antwort: 7 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 5.3 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#424#424	Decider V1.2default	2.6	Perplexity	$0.001	517ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 7 Zuverlässigkeit 9.4 Erfolgsquote pro Versuch 24.6% Instabile Tests 1 Eingabe-Token 48,363 Ausgabe-Token 67 Denk-Token 0 Antwortzeit (Durchschnitt) 517ms Antwortzeit (Gesamt) 6.20s Antwortzeit (Maximum) 776ms Falsche Antwort: 5 API-Fehler: 1 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 5.8 Programmierung : 4.5 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 5.9 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#434#434	D1default	1.9	Liquid	$0.003	508ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 10 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 11.6% Instabile Tests 1 Eingabe-Token 55,956 Ausgabe-Token 0 Denk-Token 0 Antwortzeit (Durchschnitt) 508ms Antwortzeit (Gesamt) 6.10s Antwortzeit (Maximum) 820ms Falsche Antwort: 10 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 2.2 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#440#440	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
Modellkarte anzeigen Gesamttests 7 Falsche Tests 4 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 13.0% Instabile Tests 0 Eingabe-Token 33,864 Ausgabe-Token 96 Denk-Token 0 Antwortzeit (Durchschnitt) 498ms Antwortzeit (Gesamt) 3.49s Antwortzeit (Maximum) 602ms Falsche Antwort: 4 Agentenaufgaben : 0.0 Anti-KI-Tricks : 2.5 Programmierung : 0.0 Kombiniert : 0.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 6.7 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#427#427	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 9 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 13.0% Instabile Tests 0 Eingabe-Token 47,583 Ausgabe-Token 0 Denk-Token 0 Antwortzeit (Durchschnitt) 495ms Antwortzeit (Gesamt) 5.94s Antwortzeit (Maximum) 842ms Falsche Antwort: 8 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 2.3 Programmierung : 2.5 Kombiniert : 0.0 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#432#432	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 9 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 13.0% Instabile Tests 0 Eingabe-Token 49,176 Ausgabe-Token 69 Denk-Token 0 Antwortzeit (Durchschnitt) 462ms Antwortzeit (Gesamt) 5.55s Antwortzeit (Maximum) 661ms Falsche Antwort: 9 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 2.2 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.0 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#429#429	Jev 1.14default	2.3	Typesafe	$0.003	377ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 8 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 23.2% Instabile Tests 2 Eingabe-Token 67,092 Ausgabe-Token 18,927 Denk-Token 0 Antwortzeit (Durchschnitt) 377ms Antwortzeit (Gesamt) 4.52s Antwortzeit (Maximum) 546ms Falsche Antwort: 7 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 2.7 Kombiniert : 0.0 Datenanalyse und -extraktion : 7.3 Domänenspezifisch : 7.7 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#441#441	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
Modellkarte anzeigen Gesamttests 7 Falsche Tests 6 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 4.4% Instabile Tests 0 Eingabe-Token 103,770 Ausgabe-Token 0 Denk-Token 0 Antwortzeit (Durchschnitt) 363ms Antwortzeit (Gesamt) 2.54s Antwortzeit (Maximum) 1.24s Falsche Antwort: 5 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 2.5 Programmierung : 0.0 Kombiniert : 0.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 2.0 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#425#425	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 8 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 17.4% Instabile Tests 0 Eingabe-Token 73,557 Ausgabe-Token 69 Denk-Token 0 Antwortzeit (Durchschnitt) 320ms Antwortzeit (Gesamt) 3.84s Antwortzeit (Maximum) 491ms Falsche Antwort: 8 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.0 Programmierung : 4.9 Kombiniert : 0.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0

←

1 17 18

Globale Benchmark-Trends

Sieh, wie aktuelle Modelle Score, Kosten, Geschwindigkeit, Ausgabelänge und Kategoriestärke ausbalancieren.

Diagramme →

Pareto-Frontier: Intelligenz vs. Kosten

Score-Frontier führender Unternehmen im Zeitverlauf

Pareto-Frontier: Intelligenz vs. Antwortgeschwindigkeit

Pareto-Frontier: Score vs. Ausgabe-Tokens

Kategorieschwierigkeit über alle Modelle

Schnellvergleich

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow