AI BENCHY
Advertise here
#29

Grok 4.20 Beta

X AI Veröffentlichung: 2026-03-12 Getestet am: 2026-04-11 01:19 x-ai/grok-4.20-beta::medium
(medium) (none)

Zusammenfassung

Grok 4.20 Beta erreicht 8.0 bei AI BENCHY und liegt auf #29. Das Modell hat k. A. Zuverlässigkeit, 74.1% Erfolgsrate, $0.633 Gesamtkosten und 9.81s durchschnittliche Antwortzeit.

Was Grok 4.20 Beta besonders macht: Am stärksten ist es in Programmierung, wo es #1 erreicht; am schwächsten ist Befolgung von Anweisungen mit #15.

Archiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.

Identitätshinweis

Grok 4.20 Beta war die Vorschauversion von xAI: Grok 4.20.

Punktzahl

8.0

Konsistenz

9.1

Zuverlässigkeit

k. A.

Gesamte Ausgabe-Token

93,477

Gesamte Eingabe-Token

0

Eingabepreis

$0.000 / 1M

Ausgabepreis

$0.000 / 1M

Korrekte Tests

Falsche Tests: 6

Erfolgsquote pro Versuch: 74.1%

Instabile Tests

2

Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).

Antwortzeit (Durchschnitt)

9.81s

Antwortzeit (Maximum): 31.36s

Antwortzeit (Gesamt): 176.62s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#29 Grok 4.20 Beta

medium
Cost
$0.034
Time
91.0s
Tokens
13,523 tok

Testverlauf

Getestet am Punktzahl Zuverlässigkeit Korrekte Tests Gesamtkosten Vergleichen
2026-05-06 14:15 Erneuter Test 8.5 k. A. $0.750 Vergleichen
2026-05-06 14:15 Erneuter Test 8.2 k. A. $0.633 Vergleichen
2026-05-06 14:15 Erneuter Test 8.2 k. A. $0.633 Vergleichen
2026-05-06 14:15 Suite geändert 8.2 k. A. $0.633 Vergleichen
2026-04-11 01:19 Erster erfasster Lauf 8.0 k. A. $0.633 Aktueller Lauf

Laufvergleich

LaufPunktzahlKonsistenzZuverlässigkeitKorrekte TestsInstabile TestsGesamte Ausgabe-TokenGesamte Eingabe-TokenGesamtkostenAntwortzeit (Durchschnitt)
2026-04-11 01:19 · Erster erfasster Lauf8.09.1k. A.12/18293,4770$0.6339.81s
2026-05-06 14:15 · Suite geändert8.29.1k. A.13/18293,4770$0.6339.81s
Differenz-0.20.0-1000$0.0000ms

Diese beiden Läufe nutzten unterschiedliche Benchmark-Suiten, daher spiegeln die Deltas sowohl Modell- als auch Suite-Änderungen wider.

Diagramme

Wähle zuerst das erste Modell und klicke dann ein zweites Modell, um eine Seite im direkten Vergleich zu öffnen.

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Schnellvergleich

Kategorieaufschlüsselung

Kategorie Punktzahl Konsistenz Korrekte Tests
Anti-KI-Tricks 8.7 7.9
Programmierung 10.0 10.0
Kombiniert 10.0 10.0
Datenanalyse und -extraktion 10.0 10.0
Domänenspezifisch 5.3 10.0
Allgemeine Intelligenz 10.0 10.0
Befolgung von Anweisungen 8.3 10.0
Rätsellösen 8.2 7.2
Werkzeugaufrufe 3.0 10.0

Verglichene Modelle