AI BENCHY
Advertise here
#27

Step 3.7 Flash

Stepfun Veröffentlichung: 2026-05-29 Getestet am: 2026-07-16 22:50 stepfun/step-3.7-flash::medium
198B insgesamt (11B aktiv)MoEOpen Source
(high) (medium) (low)

Zusammenfassung

Step 3.7 Flash erreicht 8.0 bei AI BENCHY und liegt auf #27. Das Modell hat 9.9 Zuverlässigkeit, 72.7% Erfolgsrate, $0.515 Gesamtkosten und 26.37s durchschnittliche Antwortzeit.

Was Step 3.7 Flash besonders macht: Am stärksten ist es in Domänenspezifisch, wo es #1 erreicht; am schwächsten ist Allgemeine Intelligenz mit #18.

Modelldaten

Recherchiert am 2026-08-12

Angegeben
Parameter
198B insgesamt (11B aktiv)
Architektur
MoE
Verfügbarkeit
Open Source
Lizenz
Apache-2.0

Punktzahl

8.0

Konsistenz

8.9

Gesamte Ausgabe-Token

427,572

Gesamte Eingabe-Token

114,062

Eingabepreis

$0.200 / 1M

Ausgabepreis

$1.150 / 1M

Korrekte Tests

Falsche Tests: 8

Erfolgsquote pro Versuch: 72.7%

Benchmark-Abdeckung: 64/66 Versuche

Instabile Tests

3

Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).

Antwortzeit (Durchschnitt)

26.37s

Antwortzeit (Maximum): 152.83s

Antwortzeit (Gesamt): 580.25s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#27 Step 3.7 Flash

medium
Kosten
$0.006
Zeit
46.2s
Token
4,466 tok

Testverlauf

Getestet am Punktzahl Zuverlässigkeit Korrekte Tests Gesamtkosten Vergleichen
2026-08-14 02:31 Erneuter Test 7.9 10.0 $0.495 Vergleichen
2026-07-16 22:50 Neuer Test hinzugefügt 8.0 9.9 $0.515 Aktueller Lauf
2026-06-04 13:52 Neuer Test hinzugefügt 8.0 9.9 $0.376 Vergleichen
2026-05-29 11:49 Erster Lauf 7.9 9.9 $0.404 Vergleichen

Dieser Lauf nutzte eine andere Benchmark-Suite. Berücksichtige Suite-Änderungen bei der historischen Einordnung.

Laufvergleich

LaufBenchmark-AbdeckungPunktzahlKonsistenzZuverlässigkeitKorrekte TestsInstabile TestsGesamte Ausgabe-TokenGesamte Eingabe-TokenGesamtkostenAntwortzeit (Durchschnitt)
2026-07-16 22:50 · Neuer Test hinzugefügt64/66 Versuche8.08.99.914/223427,572114,062$0.51526.37s
2026-06-04 13:52 · Neuer Test hinzugefügt61/63 Versuche8.09.39.914/212319,95839,981$0.37620.35s
Differenz0.0-0.40.00+1+107614+74081+$0.139+6021ms

Die Benchmark-Abdeckung unterscheidet sich: 64/66 Versuche (Ziel: 3 Wiederholungen pro Test) gegenüber 61/63 Versuche (Ziel: 3 Wiederholungen pro Test). Summen und wiederholungsabhängige Metriken sind nicht direkt vergleichbar.

Diese beiden Läufe nutzten unterschiedliche Benchmark-Suiten, daher spiegeln die Deltas sowohl Modell- als auch Suite-Änderungen wider.

Preisverlauf

Historische Preisdaten für dieses Modell von OpenRouter.

Datum Eingabepreis Ausgabepreis
2026-06-04 15:40 $0.200 / 1M $1.150 / 1M

Diagramme

Wähle zuerst das erste Modell und klicke dann ein zweites Modell, um eine Seite im direkten Vergleich zu öffnen.

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Schnellvergleich

Kategorieaufschlüsselung

Kategorie Punktzahl Konsistenz Korrekte Tests
Anti-KI-Tricks 8.7 7.9
Programmierung 8.8 7.8
Kombiniert 7.3 5.8
Datenanalyse und -extraktion 10.0 10.0
Domänenspezifisch 7.7 10.0
Allgemeine Intelligenz 4.0 10.0
Befolgung von Anweisungen 9.8 10.0
Rätsellösen 5.7 9.9
Werkzeugaufrufe 10.0 10.0
Allgemeinwissen 3.0 10.0

Verglichene Modelle