Command A+ (medium) führt beim Durchschnittsscore mit 3.4 vs 2.6. Decider V1.2 (default) hat die niedrigeren Benchmark-Kosten mit $0.001 vs $0.064. Decider V1.2 (default) ist schneller mit 517ms vs 91.72s, mit Erfolgsraten von 0.0% vs 24.6%.
Benchmarks aus AI BENCHY-Test-Suites generiert am:
2026-10-17
Verglichene Modelle
Rang
#408
Gesamte Ausgabe-Token
18,795
Antwortzeit (Durchschnitt)
91.72s
Gesamtkosten
$0.064
Rang
#424
Gesamte Ausgabe-Token
67
Antwortzeit (Durchschnitt)
517ms
Gesamtkosten
$0.001
Empfohlenes ModellDecider V1.2 (default)
Die Punktzahl bleibt nah an der besten hier (2.6 vs 3.4) und es kostet etwa 66.0x weniger als Command A+ (medium).
Decider V1.2Decider V1.2default36/69 Versuche. Adapter liefern die Auswahlmöglichkeiten. Unterstützt 12/23 Tests. Andere Tests werden nicht unterstützt und gelten nicht als fehlgeschlagen. Die Bewertung nutzt die gesamte Testsuite.Veröffentlichung: 2026-10-17
Decider V1.2Decider V1.2default36/69 Versuche. Adapter liefern die Auswahlmöglichkeiten. Unterstützt 12/23 Tests. Andere Tests werden nicht unterstützt und gelten nicht als fehlgeschlagen. Die Bewertung nutzt die gesamte Testsuite.Veröffentlichung: 2026-10-17
Punktzahl
3.4Durchschnittswert über alle Benchmark-Tests.…
2.6Durchschnittswert über alle Benchmark-Tests.…
Rang
#408
#424
Zuverlässigkeit
3.5Erfolgswert beim ersten Versuch: 10.0 bedeutet keine wiederholbaren Ziel-API- oder Rate-Limit-Fehler vor erfolgreichen Aufrufen; erfasste Fehler senken den Wert.…
9.4Erfolgswert beim ersten Versuch: 10.0 bedeutet keine wiederholbaren Ziel-API- oder Rate-Limit-Fehler vor erfolgreichen Aufrufen; erfasste Fehler senken den Wert.…
Konsistenz
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
4.9Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
Versuche
69/69
36/69
Korrekte Tests
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 22Falsche Antwort: 1Antwortzeit (Durchschnitt)91.72sAntwortzeit (Maximum)112.76sAntwortzeit (Gesamt)2109.54sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 5API-Fehler: 1Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)517msAntwortzeit (Maximum)776msAntwortzeit (Gesamt)6.20sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
Erfolgsquote pro Versuch
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
24.6%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
Instabile Tests
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Gesamtläufe
69Gesamtläufe…
36Gesamtläufe…
Kosten pro Ergebnis
0.000
0.020
Gesamtkosten
$0.064
$0.001
Eingabepreis
$0.300 / 1MEingabepreis…
$0.020 / 1MEingabepreis…
Ausgabepreis
$1.500 / 1MAusgabepreis…
$0.000 / 1MAusgabepreis…
Preis für Cache-Lesen
$0.150 / 1MPreis für Cache-Lesen…
k. A.Preis für Cache-Lesen…
Preis für Cache-Schreiben
k. A.Preis für Cache-Schreiben…
k. A.Preis für Cache-Schreiben…
Gesamte Eingabe-Token
118,771Gesamte Eingabe-Token…
48,363Gesamte Eingabe-Token…
Ausgabe-Token
4,127Ausgabe-Token…
67Ausgabe-Token…
Denk-Token
14,668Denk-Token…
0Denk-Token…
Antwortzeit (Durchschnitt)
91.72sAntwortzeit (Durchschnitt)…
517msAntwortzeit (Durchschnitt)…
Antwortzeit (Maximum)
112.76sAntwortzeit (Maximum)…
776msAntwortzeit (Maximum)…
Antwortzeit (Gesamt)
2109.54sAntwortzeit (Gesamt)…
6.20sAntwortzeit (Gesamt)…
Parameter
218B insgesamt (25B aktiv)
27B
Verfügbarkeit
Open Source
Open Source
Cache-Preise gelten für Eingabetokens. Lesen nutzt gespeicherte Prompts erneut; Schreiben speichert sie und kann mehr kosten. Für Ausgabetokens gilt der Ausgabepreis.
Modell-Generierungs-Showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#408 Command A+
medium
Provider returned error
Kosten
$0.000
Zeit
0.2s
Token
0 tok
#424 Decider V1.2
default
Für dieses Modell wurde noch kein Showcase-Ergebnis generiert.
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)112.76sAntwortzeit (Maximum)112.76sAntwortzeit (Gesamt)112.76sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
0.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)0msAntwortzeit (Maximum)0msAntwortzeit (Gesamt)0msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 4Antwortzeit (Durchschnitt)94.10sAntwortzeit (Maximum)102.33sAntwortzeit (Gesamt)376.41sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
7.5Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
50.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)491msAntwortzeit (Maximum)496msAntwortzeit (Gesamt)1.47sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 3Antwortzeit (Durchschnitt)93.13sAntwortzeit (Maximum)94.47sAntwortzeit (Gesamt)279.38sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
6.7Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
33.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)572msAntwortzeit (Maximum)575msAntwortzeit (Gesamt)1.14sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 2Antwortzeit (Durchschnitt)89.35sAntwortzeit (Maximum)95.40sAntwortzeit (Gesamt)178.70sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
0.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)0msAntwortzeit (Maximum)0msAntwortzeit (Gesamt)0msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 2Antwortzeit (Durchschnitt)92.87sAntwortzeit (Maximum)97.01sAntwortzeit (Gesamt)185.73sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
50.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)482msAntwortzeit (Maximum)521msAntwortzeit (Gesamt)964msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 3Antwortzeit (Durchschnitt)77.87sAntwortzeit (Maximum)91.53sAntwortzeit (Gesamt)233.61sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
7.2Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
55.6%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 1Falsche Antwort: 1Antwortzeit (Durchschnitt)541msAntwortzeit (Maximum)776msAntwortzeit (Gesamt)1.62sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 1Antwortzeit (Durchschnitt)80.14sAntwortzeit (Maximum)80.14sAntwortzeit (Gesamt)80.14sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
0.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)0msAntwortzeit (Maximum)0msAntwortzeit (Gesamt)0msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 2Antwortzeit (Durchschnitt)103.03sAntwortzeit (Maximum)105.69sAntwortzeit (Gesamt)206.06sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
5.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)508msAntwortzeit (Maximum)508msAntwortzeit (Gesamt)508msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 3Antwortzeit (Durchschnitt)92.07sAntwortzeit (Maximum)99.99sAntwortzeit (Gesamt)276.20sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
3.3Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)490msAntwortzeit (Maximum)490msAntwortzeit (Gesamt)490msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 1Antwortzeit (Durchschnitt)78.42sAntwortzeit (Maximum)78.42sAntwortzeit (Gesamt)78.42sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
0.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)0msAntwortzeit (Maximum)0msAntwortzeit (Gesamt)0msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.API-Fehler: 1Antwortzeit (Durchschnitt)102.12sAntwortzeit (Maximum)102.12sAntwortzeit (Gesamt)102.12sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
0.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)0msAntwortzeit (Maximum)0msAntwortzeit (Gesamt)0msEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…