Decider V1.1 27B (default) leidt in gemiddelde score met 2.6 vs 1.9. Decider V1.1 27B (default) heeft lagere benchmarkkosten met $0.002 vs $0.011. Decider V1.1 27B (default) is sneller met 320ms vs 880ms, met slagingspercentages van 8.7% vs 17.4%.
Benchmarks gegenereerd uit AI BENCHY-testsuites op:
2026-10-12
Vergeleken modellen
Rang
#402
Totaal aantal uitvoer-tokens
0
Responstijd (gem.)
880ms
Totale kosten
$0.011
Rang
#398
Totaal aantal uitvoer-tokens
69
Responstijd (gem.)
320ms
Totale kosten
$0.002
Aanbevolen modelDecider V1.1 27B (default)
Het heeft hier de beste score (2.6) en kost ongeveer 7.2x minder dan Clef Omni (default).
Gedetailleerde vergelijking
Metriek
Clef OmniClef Omnidefault36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-12
Decider V1.1 27BDecider V1.1 27Bdefault36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-07
Metriek
Clef OmniClef Omnidefault36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-12
Decider V1.1 27BDecider V1.1 27Bdefault36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-07
Score
1.9Gemiddelde score over alle benchmarktests.…
2.6Gemiddelde score over alle benchmarktests.…
Rang
#402
#398
Betrouwbaarheid
10.0Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
10.0Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
Consistentie
5.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
5.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
Pogingen
36/69
36/69
Correcte tests
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 9Instructies niet gevolgd: 1Responstijd (gem.)880msResponstijd (max)1.31sResponstijd (totaal)10.56sEen test is alleen volledig geslaagd als alle runs slagen.…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 8Responstijd (gem.)320msResponstijd (max)491msResponstijd (totaal)3.84sEen test is alleen volledig geslaagd als alle runs slagen.…
Slaagpercentage per poging
8.7%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
17.4%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
Instabiele tests
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Totaal runs
36Totaal runs…
36Totaal runs…
Kosten per resultaat
0.526
0.037
Totale kosten
$0.011
$0.002
Invoerprijs
$0.150 / 1MInvoerprijs…
$0.020 / 1MInvoerprijs…
Uitvoerprijs
$0.000 / 1MUitvoerprijs…
$0.000 / 1MUitvoerprijs…
Prijs voor cachelezen
n.v.t.Prijs voor cachelezen…
n.v.t.Prijs voor cachelezen…
Prijs voor cacheschrijven
n.v.t.Prijs voor cacheschrijven…
n.v.t.Prijs voor cacheschrijven…
Totaal aantal invoer-tokens
70,125Totaal aantal invoer-tokens…
73,557Totaal aantal invoer-tokens…
Uitvoer-tokens
0Uitvoer-tokens…
69Uitvoer-tokens…
Redeneer-tokens
0Redeneer-tokens…
0Redeneer-tokens…
Responstijd (gem.)
880msResponstijd (gem.)…
320msResponstijd (gem.)…
Responstijd (max)
1.31sResponstijd (max)…
491msResponstijd (max)…
Responstijd (totaal)
10.56sResponstijd (totaal)…
3.84sResponstijd (totaal)…
Parameters
30B totaal (3B actief)
27B
Beschikbaarheid
Open-source
Open-source
Cacheprijzen gelden voor invoertokens. Lezen hergebruikt opgeslagen prompts; schrijven slaat ze op en kan extra kosten. Voor uitvoertokens geldt de uitvoerprijs.
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
7.5Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
25.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)861msResponstijd (max)1.12sResponstijd (totaal)2.58sEen test is alleen volledig geslaagd als alle runs slagen.…
7.5Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
25.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)321msResponstijd (max)491msResponstijd (totaal)964msEen test is alleen volledig geslaagd als alle runs slagen.…
6.7Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Verkeerd antwoord: 1Responstijd (gem.)614msResponstijd (max)749msResponstijd (totaal)1.23sEen test is alleen volledig geslaagd als alle runs slagen.…
6.7Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)305msResponstijd (max)356msResponstijd (totaal)610msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
50.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)1.06sResponstijd (max)1.18sResponstijd (totaal)2.11sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
50.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)286msResponstijd (max)316msResponstijd (totaal)572msEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Responstijd (gem.)1.05sResponstijd (max)1.31sResponstijd (totaal)3.16sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)313msResponstijd (max)352msResponstijd (totaal)939msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
5.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)904msResponstijd (max)904msResponstijd (totaal)904msEen test is alleen volledig geslaagd als alle runs slagen.…
5.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)333msResponstijd (max)333msResponstijd (totaal)333msEen test is alleen volledig geslaagd als alle runs slagen.…
3.3Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)572msResponstijd (max)572msResponstijd (totaal)572msEen test is alleen volledig geslaagd als alle runs slagen.…
3.3Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)422msResponstijd (max)422msResponstijd (totaal)422msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…