AI BENCHY
Advertise here

#68

Grok 4.20

X AI Veröffentlichung: 2026-03-31 Getestet am: 2026-05-08 15:32 x-ai/grok-4.20::medium
(medium) (none)

Identitätshinweis

Grok 4.20 Beta war die Vorschauversion von Grok 4.20.

Punktzahl

6.9

Konsistenz

8.3

Gesamtkosten

$0.756

Gesamte Ausgabe-Token

130,017

Eingabepreis

$1.250 / 1M

Ausgabepreis

$2.500 / 1M

Korrekte Tests

Falsche Tests: 9

Erfolgsquote pro Versuch: 63.2%

Instabile Tests

4

Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).

Antwortzeit (Durchschnitt)

14.53s

Antwortzeit (Maximum): 63.48s

Antwortzeit (Gesamt): 276.06s

Testverlauf

Getestet am Punktzahl Zuverlässigkeit Korrekte Tests Gesamtkosten Vergleichen
2026-05-08 15:32 Suite geändert 6.9 10.0 $0.756 Aktueller Lauf
2026-04-11 01:44 Erster erfasster Lauf 7.0 k. A. $0.743 Vergleichen

Dieser Lauf nutzte eine andere Benchmark-Suite. Berücksichtige Suite-Änderungen bei der historischen Einordnung.

Laufvergleich

LaufPunktzahlKonsistenzZuverlässigkeitKorrekte TestsInstabile TestsGesamte Ausgabe-TokenGesamtkostenAntwortzeit (Durchschnitt)
2026-05-08 15:32 · Aktueller Lauf6.98.310.010/194130,017$0.75614.53s
2026-04-11 01:44 · Erster erfasster Lauf7.07.8k. A.9/185111,626$0.74310.33s
Differenz-0.1+0.5+1-1+18391+$0.014+4203ms

Diese beiden Läufe nutzten unterschiedliche Benchmark-Suiten, daher spiegeln die Deltas sowohl Modell- als auch Suite-Änderungen wider.

Diagramme

Wähle zuerst das erste Modell und klicke dann ein zweites Modell, um eine Seite im direkten Vergleich zu öffnen.

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Schnellvergleich

Kategorieaufschlüsselung

Kategorie Punktzahl Konsistenz Korrekte Tests
Anti-KI-Tricks 8.2 7.9
Programmierung 4.3 1.1
Kombiniert 10.0 10.0
Datenanalyse und -extraktion 10.0 10.0
Domänenspezifisch 5.3 10.0
Allgemeine Intelligenz 3.9 2.6
Befolgung von Anweisungen 7.3 6.0
Rätsellösen 7.7 10.0
Werkzeugaufrufe 3.0 10.0
Allgemeinwissen 3.0 10.0

Verglichene Modelle