#319 Step 3.5 Flash
medium- Kosten
- $0.008
- Zeit
- 277.1s
- Token
- 23,695 tok
Zusammenfassung
Step 3.5 Flash erreicht 5.4 bei AI BENCHY und liegt auf #319. Das Modell hat 10.0 Zuverlässigkeit, 49.3% Erfolgsrate, $0.105 Gesamtkosten und 190.48s durchschnittliche Antwortzeit.
Was Step 3.5 Flash besonders macht: Am stärksten ist es in Anti-KI-Tricks, wo es #1 erreicht; am schwächsten ist Agentenaufgaben mit #13.
Recherchiert am 2026-08-12
5.4
Konsistenz
8.3
10.0
Gesamte Ausgabe-Token
454,482
Gesamte Eingabe-Token
139,086
Eingabepreis
$0.100 / 1M
Ausgabepreis
$0.300 / 1M
Preis für Cache-Lesen
k. A.
Preis für Cache-Schreiben
k. A.
Cache-Preise gelten für Eingabetokens. Lesen nutzt gespeicherte Prompts erneut; Schreiben speichert sie und kann mehr kosten. Für Ausgabetokens gilt der Ausgabepreis.
Falsche Tests: 12
Erfolgsquote pro Versuch: 49.3%
Benchmark-Abdeckung: 66/69 Versuche (Ziel: 3 Wiederholungen pro Test)
Instabile Tests
3
Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
Testverlauf
| Getestet am | Punktzahl | Zuverlässigkeit | Korrekte Tests | Gesamtkosten | Vergleichen |
|---|---|---|---|---|---|
| 2026-10-01 02:07 Erneuter Test | 5.4 | 10.0 | $0.105 | Aktueller Lauf | |
| 2026-07-16 23:25 Neuer Test hinzugefügt | 6.0 | 9.2 | $0.108 ↑ | Vergleichen | |
| 2026-06-04 14:12 Neuer Test hinzugefügt | 7.2 | 8.9 | $0.070 ↑ | Vergleichen | |
| 2026-05-22 00:30 Suite geändert | 7.4 | 9.3 | $0.015 | Vergleichen | |
| 2026-05-08 15:30 Suite geändert | 7.6 | 10.0 | $0.011 | Vergleichen | |
| 2026-04-11 00:35 Erster erfasster Lauf | 7.9 | k. A. | $0.000 | Vergleichen |
Dieser Lauf nutzte eine andere Benchmark-Suite. Berücksichtige Suite-Änderungen bei der historischen Einordnung.
Laufvergleich
| Lauf | Benchmark-Abdeckung | Punktzahl | Konsistenz | Zuverlässigkeit | Korrekte Tests | Instabile Tests | Gesamte Ausgabe-Token | Gesamte Eingabe-Token | Gesamtkosten | Antwortzeit (Durchschnitt) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 02:07 · Aktueller Lauf | 66/69 Versuche | 5.4 | 8.3 | 10.0 | 10/22 | 3 | 454,482 | 139,086 | $0.105 | 190.48s |
| 2026-07-16 23:25 · Neuer Test hinzugefügt | 63/63 Versuche | 6.0 | 9.0 | 9.2 | 11/21 | 1 | 402,554 | 65,707 | $0.108 | 174.22s |
| Differenz | — | -0.7 | -0.7 | +0.8 | -1 | +2 | +51928 | +73379 | -$0.003 | +16263ms |
Die Benchmark-Abdeckung unterscheidet sich: 66/69 Versuche (Ziel: 3 Wiederholungen pro Test) gegenüber 63/63 Versuche (Ziel: 3 Wiederholungen pro Test). Summen und wiederholungsabhängige Metriken sind nicht direkt vergleichbar.
Diese beiden Läufe nutzten unterschiedliche Benchmark-Suiten, daher spiegeln die Deltas sowohl Modell- als auch Suite-Änderungen wider.
Wähle zuerst das erste Modell und klicke dann ein zweites Modell, um eine Seite im direkten Vergleich zu öffnen.
| Kategorie | Punktzahl | Konsistenz | Korrekte Tests |
|---|---|---|---|
| Agentenaufgaben | 2.8 | 1.6 | |
| Anti-KI-Tricks | 10.0 | 10.0 | |
| Programmierung | 2.4 | 5.2 | |
| Kombiniert | 6.5 | 10.0 | |
| Datenanalyse und -extraktion | 10.0 | 10.0 | |
| Domänenspezifisch | 3.5 | 4.4 | |
| Allgemeine Intelligenz | 5.5 | 10.0 | |
| Befolgung von Anweisungen | 8.3 | 10.0 | |
| Rätsellösen | 5.3 | 10.0 | |
| Werkzeugaufrufe | 10.0 | 10.0 | |
| Allgemeinwissen | 3.0 | 10.0 |