Mammoth 1 (default) vs GPT-6 Luna Decisions (default)
GPT-6 Luna Decisions (default) leidt in gemiddelde score met 2.4 vs 2.2. Mammoth 1 (default) heeft lagere benchmarkkosten met $0.000 vs $0.005. GPT-6 Luna Decisions (default) is sneller met 495ms vs 1.80s, met slagingspercentages van 18.8% vs 13.0%.
Benchmarks gegenereerd uit AI BENCHY-testsuites op:
2026-10-24
Vergeleken modellen
Rang
#442
Totaal aantal uitvoer-tokens
54
Responstijd (gem.)
1.80s
Totale kosten
$0.000
Rang
#439
Totaal aantal uitvoer-tokens
0
Responstijd (gem.)
495ms
Totale kosten
$0.005
Aanbevolen modelGPT-6 Luna Decisions (default)
Het heeft hier de beste score (2.4) en reageert ongeveer 3.6x sneller dan Mammoth 1 (default).
Gedetailleerde vergelijking
Metriek
Mammoth 1Mammoth 1default36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-24Gratis beschikbaar
GPT-6 Luna DecisionsGPT-6 Luna Decisionsdefault36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-07
Metriek
Mammoth 1Mammoth 1default36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-24Gratis beschikbaar
GPT-6 Luna DecisionsGPT-6 Luna Decisionsdefault36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.Releasedatum: 2026-10-07
Score
2.2Gemiddelde score over alle benchmarktests.…
2.4Gemiddelde score over alle benchmarktests.…
Rang
#442
#439
Betrouwbaarheid
8.9Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
10.0Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
Consistentie
4.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
5.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
Pogingen
36/69
36/69
Correcte tests
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 6API-fout: 2Instructies niet gevolgd: 1Responstijd (gem.)1.80sResponstijd (max)8.17sResponstijd (totaal)21.63sEen test is alleen volledig geslaagd als alle runs slagen.…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 8Instructies niet gevolgd: 1Responstijd (gem.)495msResponstijd (max)842msResponstijd (totaal)5.94sEen test is alleen volledig geslaagd als alle runs slagen.…
Slaagpercentage per poging
18.8%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
13.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
Instabiele tests
3Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Totaal runs
36Totaal runs…
36Totaal runs…
Kosten per resultaat
0.000
0.159
Totale kosten
$0.000
$0.005
Invoerprijs
$0.000 / 1MInvoerprijs…
$0.100 / 1MInvoerprijs…
Uitvoerprijs
$0.000 / 1MUitvoerprijs…
$0.000 / 1MUitvoerprijs…
Prijs voor cachelezen
n.v.t.Prijs voor cachelezen…
$0.000 / 1MPrijs voor cachelezen…
Prijs voor cacheschrijven
n.v.t.Prijs voor cacheschrijven…
$0.000 / 1MPrijs voor cacheschrijven…
Totaal aantal invoer-tokens
45,468Totaal aantal invoer-tokens…
47,583Totaal aantal invoer-tokens…
Uitvoer-tokens
54Uitvoer-tokens…
0Uitvoer-tokens…
Redeneer-tokens
0Redeneer-tokens…
0Redeneer-tokens…
Responstijd (gem.)
1.80sResponstijd (gem.)…
495msResponstijd (gem.)…
Responstijd (max)
8.17sResponstijd (max)…
842msResponstijd (max)…
Responstijd (totaal)
21.63sResponstijd (totaal)…
5.94sResponstijd (totaal)…
Parameters
27B
~400B totaal (~17B actief)
Beschikbaarheid
Open-source
Gesloten broncode
Cacheprijzen gelden voor invoertokens. Lezen hergebruikt opgeslagen prompts; schrijven slaat ze op en kan extra kosten. Voor uitvoertokens geldt de uitvoerprijs.
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
7.5Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
25.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)530msResponstijd (max)662msResponstijd (totaal)1.59sEen test is alleen volledig geslaagd als alle runs slagen.…
7.5Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Responstijd (gem.)436msResponstijd (max)476msResponstijd (totaal)1.31sEen test is alleen volledig geslaagd als alle runs slagen.…
6.7Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)951msResponstijd (max)1.17sResponstijd (totaal)1.90sEen test is alleen volledig geslaagd als alle runs slagen.…
6.7Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)447msResponstijd (max)454msResponstijd (totaal)894msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
1.7Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
50.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
2Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.API-fout: 2Responstijd (gem.)6.10sResponstijd (max)8.17sResponstijd (totaal)12.20sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)411msResponstijd (max)431msResponstijd (totaal)822msEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)531msResponstijd (max)714msResponstijd (totaal)1.59sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)554msResponstijd (max)683msResponstijd (totaal)1.66sEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
5.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)4.04sResponstijd (max)4.04sResponstijd (totaal)4.04sEen test is alleen volledig geslaagd als alle runs slagen.…
5.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)842msResponstijd (max)842msResponstijd (totaal)842msEen test is alleen volledig geslaagd als alle runs slagen.…
1.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
11.1%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)298msResponstijd (max)298msResponstijd (totaal)298msEen test is alleen volledig geslaagd als alle runs slagen.…
3.3Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)414msResponstijd (max)414msResponstijd (totaal)414msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…