AI BENCHY
Advertise here
#74

Step 3.7 Flash

Stepfun Releasedatum: 2026-05-29 Getest op: 2026-05-29 11:53 stepfun/step-3.7-flash::high
198B totaal (11B actief)MoEOpen-source
(high) (medium) (low)

Samenvatting

Step 3.7 Flash scoort 7.1 op AI BENCHY en staat op #74. Het model heeft 9.9 betrouwbaarheid, een slagingspercentage van 65.8%, $0.960 totale kosten en 49.43s gemiddelde responstijd.

Modelgegevens

Onderzocht op 2026-08-12

Gerapporteerd
Parameters
198B totaal (11B actief)
Architectuur
MoE
Beschikbaarheid
Open-source
Licentie
Apache-2.0
Bron voor parameters Bron voor beschikbaarheid

Score

7.1

Consistentie

8.2

Betrouwbaarheid

9.9

Totale kosten (huidige prijs)

$0.960

Totaal aantal uitvoer-tokens

828,084

Totaal aantal invoer-tokens

0

Invoerprijs

$0.200 / 1M

Uitvoerprijs

$1.150 / 1M

Correcte tests

Foute tests: 9

Slaagpercentage per poging: 65.8%

Instabiele tests

4

Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).

Responstijd (gem.)

49.43s

Responstijd (max): 192.75s

Responstijd (totaal): 988.58s

Verkeerd antwoord: 6 Geen antwoord: 3

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#74 Step 3.7 Flash

high
Kosten
$0.007
Tijd
63.6s
Tokens
6,030 tok

Rungeschiedenis

Getest op Score Betrouwbaarheid Correcte tests Totale kosten Vergelijken
2026-08-14 02:45 Hertest 6.8 10.0 $1.229 Vergelijken
2026-07-16 22:46 Nieuwe test toegevoegd 6.9 10.0 $1.207 Vergelijken
2026-06-04 14:10 Nieuwe test toegevoegd 7.0 10.0 $1.148 Vergelijken
2026-05-29 11:53 Eerste run 7.1 9.9 $0.960 Huidige run

Runvergelijking

RunBenchmarkdekkingScoreConsistentieBetrouwbaarheidCorrecte testsInstabiele testsTotaal aantal uitvoer-tokensTotaal aantal invoer-tokensTotale kostenResponstijd (gem.)
2026-05-29 11:53 · Eerste run60/60 pogingen7.18.29.911/204828,0840$0.96049.43s
2026-06-04 14:10 · Nieuwe test toegevoegd63/63 pogingen7.08.210.011/214991,35538,391$1.14864.46s
Verschil—+0.10.0-0.100-163271-38391-$0.189-15027ms

De benchmarkdekking verschilt: 60/60 pogingen (Doel: 3 herhalingen per test) tegenover 63/63 pogingen (Doel: 3 herhalingen per test). Totalen en herhalingsgevoelige statistieken zijn niet direct vergelijkbaar.

Deze twee runs gebruikten verschillende benchmarksets, dus de verschillen weerspiegelen zowel modelveranderingen als suitewijzigingen.

Grafieken

Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Snelle vergelijking

Step 3.7 FlashhighvsQwen3.6 FlashmediumStep 3.7 FlashhighvsSeed-2.0-CodemediumStep 3.7 FlashhighvsGemini 3.5 FlashnoneStep 3.7 FlashhighvsSolar Pro 4lowStep 3.7 FlashhighvsSeed-2.0-CodehighStep 3.7 FlashhighvsSolar Pro 4mediumStep 3.7 FlashhighvsQwen3.7 FlashmediumStep 3.7 FlashhighvsDeepSeek V4 PrononeStep 3.7 FlashhighvsKAT-Coder-Pro V2.5mediumStep 3.7 FlashhighvsGLM 5.3low

Categorie-uitsplitsing

Categorie Score Consistentie Correcte tests
Anti-AI-trucs 10.0 10.0
Programmeren 3.6 4.6
Gecombineerd 10.0 10.0
Gegevensparsering en extractie 10.0 10.0
Domeinspecifiek 4.1 4.4
Algemene intelligentie 5.5 10.0
Instructies opvolgen 9.8 10.0
Puzzeloplossing 5.3 7.2
Toolaanroepen 10.0 10.0
Algemene kennis 3.0 10.0

Vergeleken modellen