AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#60

Step 3.7 Flash

Stepfun Releasedatum: 2026-05-29 Getest op: 2026-05-29 11:49 stepfun/step-3.7-flash::low
198B totaal (11B actief)MoEOpen-source

Samenvatting

Step 3.7 Flash scoort 7.4 op AI BENCHY en staat op #60. Het model heeft 10.0 betrouwbaarheid, een slagingspercentage van 68.3%, $0.336 totale kosten en 16.06s gemiddelde responstijd.

Wat Step 3.7 Flash uniek maakt: Het valt het meest op in Programmeren, waar het #1 staat, terwijl Algemene intelligentie het zwakste gebied is met #18.

Modelgegevens

Onderzocht op 2026-08-12

Gerapporteerd
Parameters
198B totaal (11B actief)
Architectuur
MoE
Beschikbaarheid
Open-source
Licentie
Apache-2.0

Score

7.4

Consistentie

8.7

Totaal aantal uitvoer-tokens

285,209

Totaal aantal invoer-tokens

0

Invoerprijs

$0.200 / 1M

Uitvoerprijs

$1.150 / 1M

Correcte tests

Foute tests: 8

Slaagpercentage per poging: 68.3%

Instabiele tests

3

Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).

Responstijd (gem.)

16.06s

Responstijd (max): 124.75s

Responstijd (totaal): 321.11s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 Step 3.7 Flash

low
Ongeldige SVG
Kosten
$0.004
Tijd
25.3s
Tokens
3,072 tok

Rungeschiedenis

Getest op Score Betrouwbaarheid Correcte tests Totale kosten Vergelijken
2026-08-14 02:29 Hertest 7.1 10.0 $0.390 Vergelijken
2026-07-16 22:46 Nieuwe test toegevoegd 7.3 10.0 $0.454 Vergelijken
2026-06-04 13:49 Nieuwe test toegevoegd 7.3 10.0 $0.341 Vergelijken
2026-05-29 11:49 Eerste run 7.4 10.0 $0.336 Huidige run

Runvergelijking

RunBenchmarkdekkingScoreConsistentieBetrouwbaarheidCorrecte testsInstabiele testsTotaal aantal uitvoer-tokensTotaal aantal invoer-tokensTotale kostenResponstijd (gem.)
2026-05-29 11:49 · Eerste run60/60 pogingen7.48.710.012/203285,2090$0.33616.06s
2026-08-14 02:29 · Hertest66/66 pogingen7.18.110.011/225320,393103,842$0.39017.87s
Verschil+0.3+0.60.0+1-2-35184-103842-$0.054-1810ms

De benchmarkdekking verschilt: 60/60 pogingen (Doel: 3 herhalingen per test) tegenover 66/66 pogingen (Doel: 3 herhalingen per test). Totalen en herhalingsgevoelige statistieken zijn niet direct vergelijkbaar.

Deze twee runs gebruikten verschillende benchmarksets, dus de verschillen weerspiegelen zowel modelveranderingen als suitewijzigingen.

Grafieken

Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Snelle vergelijking

Categorie-uitsplitsing

Categorie Score Consistentie Correcte tests
Anti-AI-trucs 8.7 7.9
Programmeren 10.0 10.0
Gecombineerd 10.0 10.0
Gegevensparsering en extractie 7.3 5.8
Domeinspecifiek 5.3 7.2
Algemene intelligentie 3.4 9.3
Instructies opvolgen 9.8 10.0
Puzzeloplossing 5.5 9.9
Toolaanroepen 10.0 10.0
Algemene kennis 3.0 10.0

Vergeleken modellen