AI Benchy Bestenliste

Name: AI BENCHY Modell-Benchmark-Ergebnisse
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-10-17 Bewertete Modelle: 442

Empfohlene Modelle

GPT-6.1 Sol xhigh Intelligent Erfolgsquote pro Versuch 97.1% Korrekte Tests 22 / 23 Punktzahl 9.9/10 Gemini 3.7 Flash low Schnell Antwortzeit (Durchschnitt) 6.24s Gesamte Ausgabe-Token 38,453 Punktzahl 9.4/10 GPT-6 Luna high Preiswert Eingabepreis $0.100 / 1M Ausgabepreis $0.500 / 1M Preis für Cache-Lesen $0.010 / 1M Preis für Cache-Schreiben $0.125 / 1M Punktzahl 7.7/10

442/442

Rang	Modell	Punktzahl	Unternehmen	Gesamtkosten	Antwortzeit (Durchschnitt)
#368#368	Laguna S 2.1low	4.6	Poolside	$0.108 ↓	88.24s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 20 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 23.2% Instabile Tests 6 Eingabe-Token 232,641 Ausgabe-Token 69,335 Denk-Token 426,182 Antwortzeit (Durchschnitt) 88.24s Antwortzeit (Gesamt) 2029.57s Antwortzeit (Maximum) 814.73s Falsche Antwort: 16 Anweisungen nicht befolgt: 2 Zusätzliche Formatierung: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 2.8 Anti-KI-Tricks : 3.4 Programmierung : 3.8 Kombiniert : 3.2 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 4.8 Befolgung von Anweisungen : 4.3 Rätsellösen : 3.1 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#380#380	Granite 4.2 8Bnone	4.4	IBM Granite	$0.037	84.66s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 20 Zuverlässigkeit 9.1 Erfolgsquote pro Versuch 15.9% Instabile Tests 2 Eingabe-Token 226,872 Ausgabe-Token 133,268 Denk-Token 0 Antwortzeit (Durchschnitt) 84.66s Antwortzeit (Gesamt) 1947.17s Antwortzeit (Maximum) 747.17s Falsche Antwort: 11 Zusätzliche Formatierung: 4 Zeitüberschreitung: 3 Anweisungen nicht befolgt: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 5.0 Anti-KI-Tricks : 4.9 Programmierung : 5.5 Kombiniert : 3.0 Datenanalyse und -extraktion : 2.9 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 5.0 Befolgung von Anweisungen : 3.0 Rätsellösen : 3.0 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#390#390	Qwen3.5-9Bmedium	4.0	Qwen	$0.106	110.18s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 20 Zuverlässigkeit 8.7 Erfolgsquote pro Versuch 26.1% Instabile Tests 6 Eingabe-Token 387,323 Ausgabe-Token 48,562 Denk-Token 410,431 Antwortzeit (Durchschnitt) 110.18s Antwortzeit (Gesamt) 1873.00s Antwortzeit (Maximum) 569.97s Zeitüberschreitung: 11 Keine Antwort: 3 Falsche Antwort: 2 API-Fehler: 1 Zusätzliche Formatierung: 1 Anweisungen nicht befolgt: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 5.2 Anti-KI-Tricks : 5.1 Programmierung : 2.9 Kombiniert : 3.0 Datenanalyse und -extraktion : 3.6 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 2.8 Befolgung von Anweisungen : 6.5 Rätsellösen : 3.0 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#397#397	Nemotron 3.5 Lightningnone	3.8	NVIDIA	$0.009 ↕	15.92s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 20 Zuverlässigkeit 9.8 Erfolgsquote pro Versuch 15.9% Instabile Tests 2 Eingabe-Token 97,418 Ausgabe-Token 4,779 Denk-Token 0 Antwortzeit (Durchschnitt) 15.92s Antwortzeit (Gesamt) 366.20s Antwortzeit (Maximum) 339.57s Falsche Antwort: 16 Ungültiger Werkzeugaufruf: 2 Anweisungen nicht befolgt: 1 Zeitüberschreitung: 1 Agentenaufgaben : 3.0 Anti-KI-Tricks : 4.8 Programmierung : 3.1 Kombiniert : 3.0 Datenanalyse und -extraktion : 6.5 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 4.4 Befolgung von Anweisungen : 6.5 Rätsellösen : 3.1 Werkzeugaufrufe : 2.8 Allgemeinwissen : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
Modellkarte anzeigen Gesamttests 16 Falsche Tests 14 Zuverlässigkeit k. A. Erfolgsquote pro Versuch 11.6% Instabile Tests 1 Eingabe-Token 10,771 Ausgabe-Token 1,173 Denk-Token 0 Antwortzeit (Durchschnitt) 782ms Antwortzeit (Gesamt) 10.94s Antwortzeit (Maximum) 3.15s Falsche Antwort: 9 API-Fehler: 4 Anweisungen nicht befolgt: 1 Agentenaufgaben : 0.0 Anti-KI-Tricks : 2.5 Programmierung : 0.0 Kombiniert : 1.5 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 5.9 Allgemeine Intelligenz : 4.0 Befolgung von Anweisungen : 6.3 Rätsellösen : 3.8 Werkzeugaufrufe : 3.0 Allgemeinwissen : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Modellkarte anzeigen Gesamttests 19 Falsche Tests 17 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 14.5% Instabile Tests 2 Eingabe-Token 11,661 Ausgabe-Token 1,302 Denk-Token 0 Antwortzeit (Durchschnitt) 728ms Antwortzeit (Gesamt) 9.47s Antwortzeit (Maximum) 2.21s Falsche Antwort: 9 API-Fehler: 6 Anweisungen nicht befolgt: 2 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.8 Programmierung : 3.3 Kombiniert : 1.5 Datenanalyse und -extraktion : 3.8 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 4.8 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#361#361	Laguna S 2.1none	4.7	Poolside	$0.044 ↓	17.65s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 21 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 14.5% Instabile Tests 3 Eingabe-Token 287,445 Ausgabe-Token 99,097 Denk-Token 0 Antwortzeit (Durchschnitt) 17.65s Antwortzeit (Gesamt) 406.05s Antwortzeit (Maximum) 200.52s Falsche Antwort: 18 Anweisungen nicht befolgt: 2 Keine Antwort: 1 Agentenaufgaben : 5.4 Anti-KI-Tricks : 3.1 Programmierung : 3.4 Kombiniert : 2.9 Datenanalyse und -extraktion : 10.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 5.0 Befolgung von Anweisungen : 4.3 Rätsellösen : 3.1 Werkzeugaufrufe : 4.7 Allgemeinwissen : 3.0
#388#388	Mercury 2.5none	4.1	Inception	$0.026	5.10s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 21 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 24.6% Instabile Tests 7 Eingabe-Token 311,488 Ausgabe-Token 89,958 Denk-Token 0 Antwortzeit (Durchschnitt) 5.10s Antwortzeit (Gesamt) 117.24s Antwortzeit (Maximum) 63.41s Falsche Antwort: 15 Anweisungen nicht befolgt: 4 Zusätzliche Formatierung: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 5.0 Anti-KI-Tricks : 3.8 Programmierung : 3.7 Kombiniert : 3.0 Datenanalyse und -extraktion : 2.8 Domänenspezifisch : 5.3 Allgemeine Intelligenz : 4.3 Befolgung von Anweisungen : 4.9 Rätsellösen : 3.7 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#395#395	Ling 3.0 Tinydefault	3.8	Inclusionai	$0.000	13.39s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 21 Zuverlässigkeit 9.8 Erfolgsquote pro Versuch 8.7% Instabile Tests 0 Eingabe-Token 184,579 Ausgabe-Token 110,071 Denk-Token 0 Antwortzeit (Durchschnitt) 13.39s Antwortzeit (Gesamt) 294.48s Antwortzeit (Maximum) 240.61s Falsche Antwort: 13 Anweisungen nicht befolgt: 4 API-Fehler: 2 Zusätzliche Formatierung: 1 Ungültiger Werkzeugaufruf: 1 Agentenaufgaben : 3.0 Anti-KI-Tricks : 4.8 Programmierung : 4.2 Kombiniert : 3.0 Datenanalyse und -extraktion : 6.3 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.4 Befolgung von Anweisungen : 3.1 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#396#396	Granite 4.1 8bdefault	3.8	IBM Granite	$0.007	1.38s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 21 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 8.7% Instabile Tests 0 Eingabe-Token 113,836 Ausgabe-Token 5,996 Denk-Token 0 Antwortzeit (Durchschnitt) 1.38s Antwortzeit (Gesamt) 31.81s Antwortzeit (Maximum) 16.67s Falsche Antwort: 13 Anweisungen nicht befolgt: 4 Ungültiger Werkzeugaufruf: 2 API-Fehler: 1 Zusätzliche Formatierung: 1 Agentenaufgaben : 3.0 Anti-KI-Tricks : 4.9 Programmierung : 4.5 Kombiniert : 3.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 4.0 Befolgung von Anweisungen : 3.6 Rätsellösen : 3.2 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Modellkarte anzeigen Gesamttests 12 Falsche Tests 11 Zuverlässigkeit 10.0 Erfolgsquote pro Versuch 7.3% Instabile Tests 1 Eingabe-Token 41,466 Ausgabe-Token 69 Denk-Token 0 Antwortzeit (Durchschnitt) 982ms Antwortzeit (Gesamt) 11.78s Antwortzeit (Maximum) 1.41s Falsche Antwort: 11 Agentenaufgaben : 0.0 Anti-KI-Tricks : 4.4 Programmierung : 2.2 Kombiniert : 0.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 0.0 Befolgung von Anweisungen : 1.5 Rätsellösen : 1.7 Werkzeugaufrufe : 0.0 Allgemeinwissen : 0.0
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 22 Zuverlässigkeit 7.3 Erfolgsquote pro Versuch 26.1% Instabile Tests 11 Eingabe-Token 98,467 Ausgabe-Token 3,385 Denk-Token 104,595 Antwortzeit (Durchschnitt) 371.69s Antwortzeit (Gesamt) 8548.88s Antwortzeit (Maximum) 971.85s Falsche Antwort: 9 Zeitüberschreitung: 6 API-Fehler: 4 Anweisungen nicht befolgt: 3 Agentenaufgaben : 3.0 Anti-KI-Tricks : 3.8 Programmierung : 4.2 Kombiniert : 3.0 Datenanalyse und -extraktion : 2.9 Domänenspezifisch : 3.6 Allgemeine Intelligenz : 3.2 Befolgung von Anweisungen : 4.3 Rätsellösen : 2.9 Werkzeugaufrufe : 10.0 Allgemeinwissen : 3.0
#408#408	Command A+medium	3.4	Cohere	$0.064	91.72s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 23 Zuverlässigkeit 3.5 Erfolgsquote pro Versuch 0.0% Instabile Tests 0 Eingabe-Token 118,771 Ausgabe-Token 4,127 Denk-Token 14,668 Antwortzeit (Durchschnitt) 91.72s Antwortzeit (Gesamt) 2109.54s Antwortzeit (Maximum) 112.76s API-Fehler: 22 Falsche Antwort: 1 Agentenaufgaben : 5.0 Anti-KI-Tricks : 3.0 Programmierung : 3.0 Kombiniert : 3.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 3.0 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#412#412	Xing4.0 29b A4bnone	3.3	Xingchen AGI	$0.000	42.72s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 23 Zuverlässigkeit 8.8 Erfolgsquote pro Versuch 7.3% Instabile Tests 4 Eingabe-Token 153,665 Ausgabe-Token 26,540 Denk-Token 0 Antwortzeit (Durchschnitt) 42.72s Antwortzeit (Gesamt) 982.66s Antwortzeit (Maximum) 634.11s Falsche Antwort: 13 Anweisungen nicht befolgt: 5 API-Fehler: 3 Ungültiger Werkzeugaufruf: 1 Keine Antwort: 1 Agentenaufgaben : 3.0 Anti-KI-Tricks : 3.3 Programmierung : 3.6 Kombiniert : 3.0 Datenanalyse und -extraktion : 2.9 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.4 Befolgung von Anweisungen : 4.0 Rätsellösen : 3.1 Werkzeugaufrufe : 4.7 Allgemeinwissen : 3.0
#414#414	Command A+high	3.2	Cohere	$0.079	89.96s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 23 Zuverlässigkeit 3.5 Erfolgsquote pro Versuch 0.0% Instabile Tests 0 Eingabe-Token 117,966 Ausgabe-Token 5,149 Denk-Token 23,514 Antwortzeit (Durchschnitt) 89.96s Antwortzeit (Gesamt) 2069.01s Antwortzeit (Maximum) 156.00s API-Fehler: 22 Falsche Antwort: 1 Agentenaufgaben : 3.9 Anti-KI-Tricks : 3.0 Programmierung : 3.0 Kombiniert : 3.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 3.0 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#417#417	Command A+none	3.0	Cohere	$0.000	77.87s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 23 Zuverlässigkeit 0.0 Erfolgsquote pro Versuch 0.0% Instabile Tests 0 Eingabe-Token 0 Ausgabe-Token 0 Denk-Token 0 Antwortzeit (Durchschnitt) 77.87s Antwortzeit (Gesamt) 1791.03s Antwortzeit (Maximum) 106.37s API-Fehler: 23 Agentenaufgaben : 3.0 Anti-KI-Tricks : 3.0 Programmierung : 3.0 Kombiniert : 3.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 3.0 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0
#418#418	Command A+low	3.0	Cohere	$0.073	92.50s
Modellkarte anzeigen Gesamttests 23 Falsche Tests 23 Zuverlässigkeit 3.5 Erfolgsquote pro Versuch 1.5% Instabile Tests 1 Eingabe-Token 114,874 Ausgabe-Token 1,992 Denk-Token 23,529 Antwortzeit (Durchschnitt) 92.50s Antwortzeit (Gesamt) 2127.40s Antwortzeit (Maximum) 128.54s API-Fehler: 22 Falsche Antwort: 1 Agentenaufgaben : 2.8 Anti-KI-Tricks : 3.0 Programmierung : 3.0 Kombiniert : 3.0 Datenanalyse und -extraktion : 3.0 Domänenspezifisch : 3.0 Allgemeine Intelligenz : 3.0 Befolgung von Anweisungen : 3.0 Rätsellösen : 3.0 Werkzeugaufrufe : 3.0 Allgemeinwissen : 3.0

←

1 17 18

Globale Benchmark-Trends

Sieh, wie aktuelle Modelle Score, Kosten, Geschwindigkeit, Ausgabelänge und Kategoriestärke ausbalancieren.

Diagramme →

Pareto-Frontier: Intelligenz vs. Kosten

Score-Frontier führender Unternehmen im Zeitverlauf

Pareto-Frontier: Intelligenz vs. Antwortgeschwindigkeit

Pareto-Frontier: Score vs. Ausgabe-Tokens

Kategorieschwierigkeit über alle Modelle

Schnellvergleich

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow