9.1Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
8.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
Kosten per resultaat
0.000Toont de gemiddelde kosten per correct benchmark-antwoord in centen (lager is beter).…
0.933Toont de gemiddelde kosten per correct benchmark-antwoord in centen (lager is beter).…
Totale kosten
$0.000Totale kosten…
$0.103Totale kosten…
Correcte tests
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 3Verkeerd antwoord: 3Responstijd (gem.)29.10sResponstijd (max)170.45sResponstijd (totaal)290.96sEen test is alleen volledig geslaagd als alle runs slagen.…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Instructies niet gevolgd: 1Geen antwoord: 1Time-out: 1Responstijd (gem.)16.16sResponstijd (max)28.96sResponstijd (totaal)129.26sEen test is alleen volledig geslaagd als alle runs slagen.…
Slaagpercentage per poging
68.8%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
83.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
Instabiele tests
2Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
4Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Totaal runs
48 (16 x 3)Totaal runs…
48 (16 x 3)Totaal runs…
Uitvoer-tokens
71,452Uitvoer-tokens…
19,773Uitvoer-tokens…
Redeneer-tokens
155,147Redeneer-tokens…
36,459Redeneer-tokens…
Responstijd (gem.)
29.10sResponstijd (gem.)…
16.16sResponstijd (gem.)…
Responstijd (max)
170.45sResponstijd (max)…
28.96sResponstijd (max)…
Responstijd (totaal)
290.96sResponstijd (totaal)…
129.26sResponstijd (totaal)…
Topmodellen op score
Score vs totale kosten
Responstijd (gem.)
Gem. score vs Responstijd (gem.)
Categorie-uitsplitsing
Anti-AI-trucs
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)18.54sResponstijd (max)32.30sResponstijd (totaal)37.07sEen test is alleen volledig geslaagd als alle runs slagen.…
18.54sResponstijd (gem.)…
13,924Uitvoer-tokens…
17,208Redeneer-tokens…
Z.ai: GLM 5
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)22.26sResponstijd (max)22.26sResponstijd (totaal)22.26sEen test is alleen volledig geslaagd als alle runs slagen.…
22.26sResponstijd (gem.)…
420Uitvoer-tokens…
4,992Redeneer-tokens…
Gecombineerd
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)29.57sResponstijd (max)29.57sResponstijd (totaal)29.57sEen test is alleen volledig geslaagd als alle runs slagen.…
29.57sResponstijd (gem.)…
1,176Uitvoer-tokens…
12,984Redeneer-tokens…
Z.ai: GLM 5
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)28.96sResponstijd (max)28.96sResponstijd (totaal)28.96sEen test is alleen volledig geslaagd als alle runs slagen.…
28.96sResponstijd (gem.)…
662Uitvoer-tokens…
3,242Redeneer-tokens…
Gegevensparsering en extractie
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)15.01sResponstijd (max)15.01sResponstijd (totaal)15.01sEen test is alleen volledig geslaagd als alle runs slagen.…
15.01sResponstijd (gem.)…
600Uitvoer-tokens…
13,886Redeneer-tokens…
Z.ai: GLM 5
5.0Gemiddelde score over alle benchmarktests.…
5.6Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
83.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen antwoord: 1Responstijd (gem.)8.90sResponstijd (max)8.90sResponstijd (totaal)8.90sEen test is alleen volledig geslaagd als alle runs slagen.…
8.90sResponstijd (gem.)…
567Uitvoer-tokens…
3,734Redeneer-tokens…
Domeinspecifiek
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
4.0Gemiddelde score over alle benchmarktests.…
7.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
44.4%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)170.45sResponstijd (max)170.45sResponstijd (totaal)170.45sEen test is alleen volledig geslaagd als alle runs slagen.…
170.45sResponstijd (gem.)…
45,350Uitvoer-tokens…
90,436Redeneer-tokens…
Z.ai: GLM 5
10.0Gemiddelde score over alle benchmarktests.…
4.4Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
2Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Time-out: 1Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0msResponstijd (gem.)…
13,176Uitvoer-tokens…
14,137Redeneer-tokens…
Algemene intelligentie
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
6.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)6.54sResponstijd (max)6.54sResponstijd (totaal)6.54sEen test is alleen volledig geslaagd als alle runs slagen.…
6.54sResponstijd (gem.)…
2,214Uitvoer-tokens…
2,584Redeneer-tokens…
Z.ai: GLM 5
5.0Gemiddelde score over alle benchmarktests.…
3.1Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
66.7%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)14.69sResponstijd (max)14.69sResponstijd (totaal)14.69sEen test is alleen volledig geslaagd als alle runs slagen.…
14.69sResponstijd (gem.)…
2,020Uitvoer-tokens…
2,248Redeneer-tokens…
Instructies opvolgen
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
9.0Gemiddelde score over alle benchmarktests.…
6.8Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
83.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)4.98sResponstijd (max)4.98sResponstijd (totaal)4.98sEen test is alleen volledig geslaagd als alle runs slagen.…
4.98sResponstijd (gem.)…
2,284Uitvoer-tokens…
3,412Redeneer-tokens…
Z.ai: GLM 5
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)7.25sResponstijd (max)7.25sResponstijd (totaal)7.25sEen test is alleen volledig geslaagd als alle runs slagen.…
7.25sResponstijd (gem.)…
1,001Uitvoer-tokens…
2,129Redeneer-tokens…
Puzzle Solving
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
4.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Verkeerd antwoord: 1Responstijd (gem.)7.72sResponstijd (max)10.60sResponstijd (totaal)15.44sEen test is alleen volledig geslaagd als alle runs slagen.…
7.72sResponstijd (gem.)…
5,629Uitvoer-tokens…
10,835Redeneer-tokens…
Z.ai: GLM 5
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)15.64sResponstijd (max)16.34sResponstijd (totaal)31.27sEen test is alleen volledig geslaagd als alle runs slagen.…
15.64sResponstijd (gem.)…
1,694Uitvoer-tokens…
4,983Redeneer-tokens…
Toolaanroepen
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Uitvoer-tokens
Redeneer-tokens
StepFun: Step 3.5 Flash
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)11.91sResponstijd (max)11.91sResponstijd (totaal)11.91sEen test is alleen volledig geslaagd als alle runs slagen.…
11.91sResponstijd (gem.)…
275Uitvoer-tokens…
3,802Redeneer-tokens…
Z.ai: GLM 5
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)15.93sResponstijd (max)15.93sResponstijd (totaal)15.93sEen test is alleen volledig geslaagd als alle runs slagen.…