Qwen3.8 27B (high) führt beim Durchschnittsscore mit 8.4 vs 8.3. Die Kosten der lokalen Hardware wurden nicht gemessen. Daher ist kein Kostenvergleich möglich. Muse Spark 1.1 (low) ist schneller mit 11.89s vs 167.89s, mit Erfolgsraten von 71.2% vs 77.3%.
Benchmarks aus AI BENCHY-Test-Suites generiert am:
2026-08-15
Rang
#45
Gesamte Ausgabe-Token
116,489
Antwortzeit (Durchschnitt)
11.89s
Gesamtkosten
$0.673
Rang
#42
Gesamte Ausgabe-Token
656,635
Antwortzeit (Durchschnitt)
167.89s
Gesamtkosten
k. A.
Empfohlenes ModellMuse Spark 1.1 (low)
Die Punktzahl bleibt nah an der besten hier (8.3 vs 8.4) und es antwortet etwa 14.1x schneller als Qwen3.8 27B (high).
Qwen3.8 27BQwen3.8 27BhighDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.Veröffentlichung: 2026-08-14
Qwen3.8 27BQwen3.8 27BhighDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.Veröffentlichung: 2026-08-14
Punktzahl
8.3Durchschnittswert über alle Benchmark-Tests.…
8.4Durchschnittswert über alle Benchmark-Tests.…
Rang
#45
#42
Zuverlässigkeit
10.0Erfolgswert beim ersten Versuch: 10.0 bedeutet keine wiederholbaren Ziel-API- oder Rate-Limit-Fehler vor erfolgreichen Aufrufen; erfasste Fehler senken den Wert.…
9.6Erfolgswert beim ersten Versuch: 10.0 bedeutet keine wiederholbaren Ziel-API- oder Rate-Limit-Fehler vor erfolgreichen Aufrufen; erfasste Fehler senken den Wert.…
Konsistenz
8.5Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
9.2Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
Versuche
66/66
66/66
Korrekte Tests
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 5Anweisungen nicht befolgt: 3Ungültiger Werkzeugaufruf: 1Antwortzeit (Durchschnitt)11.89sAntwortzeit (Maximum)54.15sAntwortzeit (Gesamt)261.69sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 2Keine Antwort: 2Falsche Antwort: 2Antwortzeit (Durchschnitt)167.89sAntwortzeit (Maximum)640.85sAntwortzeit (Gesamt)3693.54sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
Erfolgsquote pro Versuch
71.2%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
77.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
Instabile Tests
4Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
2Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Gesamtläufe
66Gesamtläufe…
66Gesamtläufe…
Kosten pro Ergebnis
5.173Zeigt die durchschnittlichen Kosten pro korrekter Benchmark-Antwort in Cent an (niedriger ist besser).…
k. A.Zeigt die durchschnittlichen Kosten pro korrekter Benchmark-Antwort in Cent an (niedriger ist besser).…
Gesamtkosten
$0.673Gesamtkosten (aktueller Preis)…
k. A.Gesamtkosten (aktueller Preis)…
Eingabepreis
$1.250 / 1MEingabepreis…
k. A.Eingabepreis…
Ausgabepreis
$4.250 / 1MAusgabepreis…
k. A.Ausgabepreis…
Gesamte Eingabe-Token
141,878Gesamte Eingabe-Token…
100,179Gesamte Eingabe-Token…
Ausgabe-Token
11,033Ausgabe-Token…
904Ausgabe-Token…
Denk-Token
105,456Denk-Token…
655,731Denk-Token…
Antwortzeit (Durchschnitt)
11.89sAntwortzeit (Durchschnitt)…
167.89sAntwortzeit (Durchschnitt)…
Antwortzeit (Maximum)
54.15sAntwortzeit (Maximum)…
640.85sAntwortzeit (Maximum)…
Antwortzeit (Gesamt)
261.69sAntwortzeit (Gesamt)…
3693.54sAntwortzeit (Gesamt)…
Parameter
~1T insgesamt (~50B aktiv)
27.3B
Verfügbarkeit
Geschlossen
Gewichte verfügbar
Modell-Generierungs-Showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#45 Muse Spark 1.1
low
Kosten
$0.020
Zeit
39.2s
Token
4,947 tok
#42 Qwen3.8 27B
highDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
6.3Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
83.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
2Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 2Antwortzeit (Durchschnitt)4.36sAntwortzeit (Maximum)8.92sAntwortzeit (Gesamt)17.45sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
4.36sAntwortzeit (Durchschnitt)…
2,334Gesamte Eingabe-Token…
621Ausgabe-Token…
6,040Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
10.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)8.10sAntwortzeit (Maximum)21.48sAntwortzeit (Gesamt)32.40sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)10.34sAntwortzeit (Maximum)12.60sAntwortzeit (Gesamt)31.02sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.34sAntwortzeit (Durchschnitt)…
8,562Gesamte Eingabe-Token…
394Ausgabe-Token…
14,503Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
8.1Durchschnittswert über alle Benchmark-Tests.…
7.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
88.9%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)248.62sAntwortzeit (Maximum)458.25sAntwortzeit (Gesamt)745.85sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
9.1Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
50.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Ungültiger Werkzeugaufruf: 1Antwortzeit (Durchschnitt)29.45sAntwortzeit (Maximum)39.63sAntwortzeit (Gesamt)58.89sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
29.45sAntwortzeit (Durchschnitt)…
103,652Gesamte Eingabe-Token…
8,010Ausgabe-Token…
17,369Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
10.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)185.57sAntwortzeit (Maximum)333.21sAntwortzeit (Gesamt)371.15sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)3.22sAntwortzeit (Maximum)3.93sAntwortzeit (Gesamt)6.45sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
3.22sAntwortzeit (Durchschnitt)…
7,827Gesamte Eingabe-Token…
240Ausgabe-Token…
2,074Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
10.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)34.85sAntwortzeit (Maximum)57.71sAntwortzeit (Gesamt)69.71sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
7.2Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
22.2%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 2Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)32.99sAntwortzeit (Maximum)54.15sAntwortzeit (Gesamt)98.96sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
32.99sAntwortzeit (Durchschnitt)…
1,596Gesamte Eingabe-Token…
421Ausgabe-Token…
48,038Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
5.3Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
33.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine Antwort: 1Falsche Antwort: 1Antwortzeit (Durchschnitt)526.74sAntwortzeit (Maximum)640.85sAntwortzeit (Gesamt)1580.21sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)4.12sAntwortzeit (Maximum)4.12sAntwortzeit (Gesamt)4.12sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
4.12sAntwortzeit (Durchschnitt)…
906Gesamte Eingabe-Token…
131Ausgabe-Token…
1,125Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
5.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)8.45sAntwortzeit (Maximum)8.45sAntwortzeit (Gesamt)8.45sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
6.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
83.3%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)5.42sAntwortzeit (Maximum)6.23sAntwortzeit (Gesamt)10.85sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
5.42sAntwortzeit (Durchschnitt)…
1,527Gesamte Eingabe-Token…
252Ausgabe-Token…
4,246Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
9.8Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)8.24sAntwortzeit (Maximum)10.18sAntwortzeit (Gesamt)16.49sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
66.7%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Anweisungen nicht befolgt: 1Antwortzeit (Durchschnitt)6.60sAntwortzeit (Maximum)11.77sAntwortzeit (Gesamt)19.81sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
6.60sAntwortzeit (Durchschnitt)…
1,938Gesamte Eingabe-Token…
391Ausgabe-Token…
7,503Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
7.6Durchschnittswert über alle Benchmark-Tests.…
7.2Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
77.8%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
1Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine Antwort: 1Antwortzeit (Durchschnitt)199.90sAntwortzeit (Maximum)569.33sAntwortzeit (Gesamt)599.69sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)5.98sAntwortzeit (Maximum)5.98sAntwortzeit (Gesamt)5.98sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
5.98sAntwortzeit (Durchschnitt)…
12,924Gesamte Eingabe-Token…
533Ausgabe-Token…
1,012Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
10.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
100.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Keine fehlgeschlagenen Antworten.Antwortzeit (Durchschnitt)5.62sAntwortzeit (Maximum)5.62sAntwortzeit (Gesamt)5.62sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)8.17sAntwortzeit (Maximum)8.17sAntwortzeit (Gesamt)8.17sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…
8.17sAntwortzeit (Durchschnitt)…
612Gesamte Eingabe-Token…
40Ausgabe-Token…
3,546Denk-Token…
Qwen3.8 27BDie Antworten des Kandidaten wurden auf lokaler Hardware erzeugt. OpenRouter wurde nur zur Bewertung verwendet.
3.0Durchschnittswert über alle Benchmark-Tests.…
10.0Der Konsistenzwert zeigt die Stabilität zwischen Läufen (10 = sehr konsistent, auch wenn konsistent falsch).…
0.0%Erfolgsquote pro Versuch = bestandene Versuche / Gesamtversuche über alle Läufe.…
0Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).…
Ein Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.Falsche Antwort: 1Antwortzeit (Durchschnitt)263.98sAntwortzeit (Maximum)263.98sAntwortzeit (Gesamt)263.98sEin Test gilt nur dann als vollständig bestanden, wenn alle Läufe bestanden wurden.…