Nemotron 3 Ultra 550b A55b vs Grok 4.1 Fast Benchmark-Vergleich: Nemotron 3 Ultra 550b A55b führt beim Durchschnittsscore mit 8.1 vs 5.6. Grok 4.1 Fast hat die niedrigeren Benchmark-Kosten mit $0.069 vs $0.158. Nemotron 3 Ultra 550b A55b ist schneller mit 15.05s vs 23.85s, mit Erfolgsraten von 69.8% vs 55.6%.
Empfohlenes Modell: Nemotron 3 Ultra 550b A55b - Es hat hier die beste Punktzahl (8.1) und antwortet etwa 1.6x schneller als Grok 4.1 Fast.
Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-07-02
Grok 4.1 FastGrok 4.1 FastmediumArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.Veröffentlichung: 2025-11-19
Grok 4.1 FastGrok 4.1 FastmediumArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.Veröffentlichung: 2025-11-19
Punktzahl
8.1Durchschnittswert über alle Benchmark-Tests.…
5.6Durchschnittswert über alle Benchmark-Tests.…
Rang
#26
#119
Zuverlässigkeit
9.7Erfolgswert beim ersten Versuch: 10.0 bedeutet keine wiederholbaren Ziel-API- oder Rate-Limit-Fehler vor erfolgreichen Aufrufen; erfasste Fehler senken den Wert.…
10.0Erfolgswert beim ersten Versuch: 10.0 bedeutet keine wiederholbaren Ziel-API- oder Rate-Limit-Fehler vor erfolgreichen Aufrufen; erfasste Fehler senken den Wert.…
Konsistenz
8.8Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
6.6Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
Korrekte Tests
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 7API-Fehler: 1Antwortzeit (Durchschnitt)15.05sAntwortzeit (Maximum)43.93sAntwortzeit (Gesamt)316.09sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 4Falsche Antwort: 4Keine Antwort: 1Zeitüberschreitung: 1Antwortzeit (Durchschnitt)23.85sAntwortzeit (Maximum)121.79sAntwortzeit (Gesamt)286.16sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
Erfolgsquote pro Versuch
69.8%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
55.6%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
Instabile Tests
3Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
6Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Gesamtläufe
63Gesamtläufe…
57Gesamtläufe…
Kosten pro Ergebnis
0.000Zeigt die durchschnittlichen Kosten pro korrekter Benchmark-Antwort in Cent an (niedriger ist besser).…
0.642Zeigt die durchschnittlichen Kosten pro korrekter Benchmark-Antwort in Cent an (niedriger ist besser).…
Gesamtkosten
$0.158Gesamtkosten (aktueller Preis)…
$0.069Gesamtkosten (aktueller Preis)…
Eingabepreis
$0.500 / 1MEingabepreis…
$0.484 / 1MEingabepreis…
Ausgabepreis
$2.200 / 1MAusgabepreis…
$0.484 / 1MAusgabepreis…
Gesamte Eingabe-Token
46,813Gesamte Eingabe-Token…
42,845Gesamte Eingabe-Token…
Ausgabe-Token
18,002Ausgabe-Token…
2,006Ausgabe-Token…
Denk-Token
53,091Denk-Token…
96,334Denk-Token…
Antwortzeit (Durchschnitt)
15.05sAntwortzeit (Durchschnitt)…
23.85sAntwortzeit (Durchschnitt)…
Antwortzeit (Maximum)
43.93sAntwortzeit (Maximum)…
121.79sAntwortzeit (Maximum)…
Antwortzeit (Gesamt)
316.09sAntwortzeit (Gesamt)…
286.16sAntwortzeit (Gesamt)…
Generierungs-Showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#26 Nemotron 3 Ultra 550b A55b
medium
Ungültiges SVG
Kosten
$0.000
Zeit
300.0s
Token
0 tok
#119 Grok 4.1 Fast
medium
Grok 4.1 Fast is deprecated. xAI recommends switching to Grok 4.3 (https://openrouter.ai/x-ai/grok-4.3)
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)8.62sAntwortzeit (Maximum)16.86sAntwortzeit (Gesamt)34.49sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
8.62sAntwortzeit (Durchschnitt)…
780Gesamte Eingabe-Token…
835Ausgabe-Token…
1,485Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
8.7Durchschnittswert über alle Benchmark-Tests.…
7.9Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
91.7%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)3.81sAntwortzeit (Maximum)5.65sAntwortzeit (Gesamt)7.62sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
7.4Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
88.9%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)26.53sAntwortzeit (Maximum)31.91sAntwortzeit (Gesamt)79.58sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
26.53sAntwortzeit (Durchschnitt)…
7,686Gesamte Eingabe-Token…
2,854Ausgabe-Token…
17,725Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
7.8Durchschnittswert über alle Benchmark-Tests.…
4.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
11.1%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)23.58sAntwortzeit (Maximum)23.58sAntwortzeit (Gesamt)23.58sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)43.93sAntwortzeit (Maximum)43.93sAntwortzeit (Gesamt)43.93sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
43.93sAntwortzeit (Durchschnitt)…
17,574Gesamte Eingabe-Token…
1,040Ausgabe-Token…
3,590Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
10.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)37.64sAntwortzeit (Maximum)37.64sAntwortzeit (Gesamt)37.64sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)5.68sAntwortzeit (Maximum)7.94sAntwortzeit (Gesamt)11.36sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
5.68sAntwortzeit (Durchschnitt)…
7,989Gesamte Eingabe-Token…
473Ausgabe-Token…
1,285Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
10.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)6.63sAntwortzeit (Maximum)6.63sAntwortzeit (Gesamt)6.63sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
4.4Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
33.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
2Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 3Antwortzeit (Durchschnitt)24.90sAntwortzeit (Maximum)34.96sAntwortzeit (Gesamt)74.71sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
24.90sAntwortzeit (Durchschnitt)…
858Gesamte Eingabe-Token…
11,169Ausgabe-Token…
16,249Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
5.8Durchschnittswert über alle Benchmark-Tests.…
4.4Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
66.7%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
2Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Zeitüberschreitung: 1Falsche Antwort: 1Antwortzeit (Durchschnitt)121.79sAntwortzeit (Maximum)121.79sAntwortzeit (Gesamt)121.79sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
9.5Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 1Antwortzeit (Durchschnitt)2.52sAntwortzeit (Maximum)2.52sAntwortzeit (Gesamt)2.52sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
2.52sAntwortzeit (Durchschnitt)…
360Gesamte Eingabe-Token…
70Ausgabe-Token…
235Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
4.2Durchschnittswert über alle Benchmark-Tests.…
9.9Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)16.25sAntwortzeit (Maximum)16.25sAntwortzeit (Gesamt)16.25sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)6.35sAntwortzeit (Maximum)9.38sAntwortzeit (Gesamt)12.69sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
6.35sAntwortzeit (Durchschnitt)…
765Gesamte Eingabe-Token…
182Ausgabe-Token…
1,243Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
6.5Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
50.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)4.63sAntwortzeit (Maximum)4.63sAntwortzeit (Gesamt)4.63sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
9.9Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
33.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 2Antwortzeit (Durchschnitt)3.54sAntwortzeit (Maximum)6.03sAntwortzeit (Gesamt)10.62sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
3.54sAntwortzeit (Durchschnitt)…
792Gesamte Eingabe-Token…
771Ausgabe-Token…
2,055Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
5.3Durchschnittswert über alle Benchmark-Tests.…
7.2Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
44.4%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Falsche Antwort: 1Antwortzeit (Durchschnitt)7.40sAntwortzeit (Maximum)7.79sAntwortzeit (Gesamt)14.81sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)7.72sAntwortzeit (Maximum)7.72sAntwortzeit (Gesamt)7.72sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
7.72sAntwortzeit (Durchschnitt)…
9,781Gesamte Eingabe-Token…
304Ausgabe-Token…
984Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
2.8Durchschnittswert über alle Benchmark-Tests.…
1.6Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
33.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine Antwort: 1Antwortzeit (Durchschnitt)27.71sAntwortzeit (Maximum)27.71sAntwortzeit (Gesamt)27.71sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)38.47sAntwortzeit (Maximum)38.47sAntwortzeit (Gesamt)38.47sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
38.47sAntwortzeit (Durchschnitt)…
228Gesamte Eingabe-Token…
304Ausgabe-Token…
8,240Denk-Token…
Grok 4.1 FastArchiviertes Modell: Dieses Modell wird nicht mehr aktualisiert und nicht mehr in neuen Tests getestet.
3.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)25.52sAntwortzeit (Maximum)25.52sAntwortzeit (Gesamt)25.52sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…