Benchmarkvergelijking Nemotron 3 Ultra 550b A55b vs Grok 4.1 Fast: Nemotron 3 Ultra 550b A55b leidt in gemiddelde score met 8.1 vs 4.0. Grok 4.1 Fast heeft lagere benchmarkkosten met $0.008 vs $0.158. Grok 4.1 Fast is sneller met 1.62s vs 15.05s, met slagingspercentages van 69.8% vs 20.6%.
Aanbevolen model: Nemotron 3 Ultra 550b A55b - Het heeft de sterkste score in deze vergelijking (8.1) en de beste balans tussen kosten en responstijd over alle 2 modellen.
Benchmarks gegenereerd uit AI BENCHY-testsuites op: 2026-07-02
Grok 4.1 FastGrok 4.1 FastnoneGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.Releasedatum: 2025-11-19
Score
8.1Gemiddelde score over alle benchmarktests.…
4.0Gemiddelde score over alle benchmarktests.…
Rang
#26
#166
Betrouwbaarheid
9.7Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
10.0Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
Consistentie
8.8Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
7.9Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
Correcte tests
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 7API-fout: 1Responstijd (gem.)15.05sResponstijd (max)43.93sResponstijd (totaal)316.09sEen test is alleen volledig geslaagd als alle runs slagen.…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 13Instructies niet gevolgd: 3Responstijd (gem.)1.62sResponstijd (max)5.51sResponstijd (totaal)19.48sEen test is alleen volledig geslaagd als alle runs slagen.…
Slaagpercentage per poging
69.8%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
20.6%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
Instabiele tests
3Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
3Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Totaal runs
63Totaal runs…
57Totaal runs…
Kosten per resultaat
0.000Toont de gemiddelde kosten per correct benchmark-antwoord in centen (lager is beter).…
0.273Toont de gemiddelde kosten per correct benchmark-antwoord in centen (lager is beter).…
Totale kosten
$0.158Totale kosten (huidige prijs)…
$0.008Totale kosten (huidige prijs)…
Invoerprijs
$0.500 / 1MInvoerprijs…
$0.202 / 1MInvoerprijs…
Uitvoerprijs
$2.200 / 1MUitvoerprijs…
$0.202 / 1MUitvoerprijs…
Totaal aantal invoer-tokens
46,813Totaal aantal invoer-tokens…
36,608Totaal aantal invoer-tokens…
Uitvoer-tokens
18,002Uitvoer-tokens…
1,723Uitvoer-tokens…
Redeneer-tokens
53,091Redeneer-tokens…
0Redeneer-tokens…
Responstijd (gem.)
15.05sResponstijd (gem.)…
1.62sResponstijd (gem.)…
Responstijd (max)
43.93sResponstijd (max)…
5.51sResponstijd (max)…
Responstijd (totaal)
316.09sResponstijd (totaal)…
19.48sResponstijd (totaal)…
Generatie-showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#26 Nemotron 3 Ultra 550b A55b
medium
Ongeldige SVG
Kosten
$0.000
Tijd
300.0s
Tokens
0 tok
#166 Grok 4.1 Fast
none
Grok 4.1 Fast is deprecated. xAI recommends switching to Grok 4.3 (https://openrouter.ai/x-ai/grok-4.3)
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)8.62sResponstijd (max)16.86sResponstijd (totaal)34.49sEen test is alleen volledig geslaagd als alle runs slagen.…
8.62sResponstijd (gem.)…
780Totaal aantal invoer-tokens…
835Uitvoer-tokens…
1,485Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.2Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Instructies niet gevolgd: 1Responstijd (gem.)1.07sResponstijd (max)1.73sResponstijd (totaal)2.15sEen test is alleen volledig geslaagd als alle runs slagen.…
7.4Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
88.9%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)26.53sResponstijd (max)31.91sResponstijd (totaal)79.58sEen test is alleen volledig geslaagd als alle runs slagen.…
26.53sResponstijd (gem.)…
7,686Totaal aantal invoer-tokens…
2,854Uitvoer-tokens…
17,725Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
1.8Gemiddelde score over alle benchmarktests.…
1.1Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
11.1%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)1.79sResponstijd (max)1.79sResponstijd (totaal)1.79sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)43.93sResponstijd (max)43.93sResponstijd (totaal)43.93sEen test is alleen volledig geslaagd als alle runs slagen.…
43.93sResponstijd (gem.)…
17,574Totaal aantal invoer-tokens…
1,040Uitvoer-tokens…
3,590Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)3.33sResponstijd (max)3.33sResponstijd (totaal)3.33sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)5.68sResponstijd (max)7.94sResponstijd (totaal)11.36sEen test is alleen volledig geslaagd als alle runs slagen.…
5.68sResponstijd (gem.)…
7,989Totaal aantal invoer-tokens…
473Uitvoer-tokens…
1,285Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
10.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)943msResponstijd (max)943msResponstijd (totaal)943msEen test is alleen volledig geslaagd als alle runs slagen.…
4.4Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
2Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Responstijd (gem.)24.90sResponstijd (max)34.96sResponstijd (totaal)74.71sEen test is alleen volledig geslaagd als alle runs slagen.…
24.90sResponstijd (gem.)…
858Totaal aantal invoer-tokens…
11,169Uitvoer-tokens…
16,249Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
5.9Gemiddelde score over alle benchmarktests.…
7.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
55.6%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)1.06sResponstijd (max)1.06sResponstijd (totaal)1.06sEen test is alleen volledig geslaagd als alle runs slagen.…
9.5Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.API-fout: 1Responstijd (gem.)2.52sResponstijd (max)2.52sResponstijd (totaal)2.52sEen test is alleen volledig geslaagd als alle runs slagen.…
2.52sResponstijd (gem.)…
360Totaal aantal invoer-tokens…
70Uitvoer-tokens…
235Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
4.4Gemiddelde score over alle benchmarktests.…
9.9Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)1.08sResponstijd (max)1.08sResponstijd (totaal)1.08sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)6.35sResponstijd (max)9.38sResponstijd (totaal)12.69sEen test is alleen volledig geslaagd als alle runs slagen.…
6.35sResponstijd (gem.)…
765Totaal aantal invoer-tokens…
182Uitvoer-tokens…
1,243Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Verkeerd antwoord: 1Responstijd (gem.)685msResponstijd (max)685msResponstijd (totaal)685msEen test is alleen volledig geslaagd als alle runs slagen.…
9.9Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)3.54sResponstijd (max)6.03sResponstijd (totaal)10.62sEen test is alleen volledig geslaagd als alle runs slagen.…
3.54sResponstijd (gem.)…
792Totaal aantal invoer-tokens…
771Uitvoer-tokens…
2,055Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Responstijd (gem.)1.10sResponstijd (max)1.36sResponstijd (totaal)2.21sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)7.72sResponstijd (max)7.72sResponstijd (totaal)7.72sEen test is alleen volledig geslaagd als alle runs slagen.…
7.72sResponstijd (gem.)…
9,781Totaal aantal invoer-tokens…
304Uitvoer-tokens…
984Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
2.8Gemiddelde score over alle benchmarktests.…
1.6Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)5.51sResponstijd (max)5.51sResponstijd (totaal)5.51sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)38.47sResponstijd (max)38.47sResponstijd (totaal)38.47sEen test is alleen volledig geslaagd als alle runs slagen.…
38.47sResponstijd (gem.)…
228Totaal aantal invoer-tokens…
304Uitvoer-tokens…
8,240Redeneer-tokens…
Grok 4.1 FastGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)731msResponstijd (max)731msResponstijd (totaal)731msEen test is alleen volledig geslaagd als alle runs slagen.…