LiquidAI: LFM2-24B-A2B vs Nemotron 3 Ultra 550b A55b
Samenvatting
Benchmarkvergelijking LFM2-24B-A2B vs Nemotron 3 Ultra 550b A55b (medium): Nemotron 3 Ultra 550b A55b (medium) leidt in gemiddelde score met 8.1 vs 2.4. LFM2-24B-A2B heeft lagere benchmarkkosten met $0.001 vs $0.158. LFM2-24B-A2B is sneller met 782ms vs 15.05s, met slagingspercentages van 12.7% vs 69.8%.
Aanbevolen model: Nemotron 3 Ultra 550b A55b (medium) - Het heeft de sterkste score in deze vergelijking (8.1) en de beste balans tussen kosten en responstijd over alle 2 modellen.
Benchmarks gegenereerd uit AI BENCHY-testsuites op: 2026-07-10
Metriek
LFM2-24B-A2BLFM2-24B-A2BnoneGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.Releasedatum: 2026-02-24
n.v.t.Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
9.7Succescore bij de eerste poging: 10.0 betekent geen herhaalbare doel-API- of snelheidslimietfouten vóór succesvolle calls; geregistreerde fouten verlagen de score.…
Consistentie
7.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
8.8Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
Correcte tests
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 9API-fout: 4Instructies niet gevolgd: 1Responstijd (gem.)782msResponstijd (max)3.15sResponstijd (totaal)10.94sEen test is alleen volledig geslaagd als alle runs slagen.…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 7API-fout: 1Responstijd (gem.)15.05sResponstijd (max)43.93sResponstijd (totaal)316.09sEen test is alleen volledig geslaagd als alle runs slagen.…
Slaagpercentage per poging
12.7%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
69.8%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
Instabiele tests
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
3Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Totaal runs
48Totaal runs…
63Totaal runs…
Kosten per resultaat
0.024Toont de gemiddelde kosten per correct benchmark-antwoord in centen (lager is beter).…
0.000Toont de gemiddelde kosten per correct benchmark-antwoord in centen (lager is beter).…
Totale kosten
$0.001Totale kosten (huidige prijs)…
$0.158Totale kosten (huidige prijs)…
Invoerprijs
$0.030 / 1MInvoerprijs…
$0.500 / 1MInvoerprijs…
Uitvoerprijs
$0.120 / 1MUitvoerprijs…
$2.200 / 1MUitvoerprijs…
Totaal aantal invoer-tokens
10,771Totaal aantal invoer-tokens…
46,813Totaal aantal invoer-tokens…
Uitvoer-tokens
1,173Uitvoer-tokens…
18,002Uitvoer-tokens…
Redeneer-tokens
0Redeneer-tokens…
53,091Redeneer-tokens…
Responstijd (gem.)
782msResponstijd (gem.)…
15.05sResponstijd (gem.)…
Responstijd (max)
3.15sResponstijd (max)…
43.93sResponstijd (max)…
Responstijd (totaal)
10.94sResponstijd (totaal)…
316.09sResponstijd (totaal)…
Generatie-showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#189 LiquidAI: LFM2-24B-A2B
none
Ongeldige SVG
Kosten
$0.000
Tijd
300.0s
Tokens
0 tok
#31 Nemotron 3 Ultra 550b A55b
medium
Ongeldige SVG
Kosten
$0.000
Tijd
300.0s
Tokens
0 tok
Score
-
Kosten
-
Tijd
-
Tokens
-
Topmodellen op score
Score vs totale kosten
Responstijd (gem.)
Score vs Responstijd (gem.)
Totaal aantal uitvoer-tokens
Score vs Totaal aantal uitvoer-tokens
Categorie-uitsplitsing
Anti-AI-trucs
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
2.5Gemiddelde score over alle benchmarktests.…
7.4Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Responstijd (gem.)471msResponstijd (max)872msResponstijd (totaal)1.41sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)8.62sResponstijd (max)16.86sResponstijd (totaal)34.49sEen test is alleen volledig geslaagd als alle runs slagen.…
8.62sResponstijd (gem.)…
780Totaal aantal invoer-tokens…
835Uitvoer-tokens…
1,485Redeneer-tokens…
Programmeren
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
0.0Gemiddelde score over alle benchmarktests.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
7.4Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
88.9%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)26.53sResponstijd (max)31.91sResponstijd (totaal)79.58sEen test is alleen volledig geslaagd als alle runs slagen.…
26.53sResponstijd (gem.)…
7,686Totaal aantal invoer-tokens…
2,854Uitvoer-tokens…
17,725Redeneer-tokens…
Gecombineerd
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.API-fout: 1Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)43.93sResponstijd (max)43.93sResponstijd (totaal)43.93sEen test is alleen volledig geslaagd als alle runs slagen.…
43.93sResponstijd (gem.)…
17,574Totaal aantal invoer-tokens…
1,040Uitvoer-tokens…
3,590Redeneer-tokens…
Gegevensparsering en extractie
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)714msResponstijd (max)987msResponstijd (totaal)1.43sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)5.68sResponstijd (max)7.94sResponstijd (totaal)11.36sEen test is alleen volledig geslaagd als alle runs slagen.…
5.68sResponstijd (gem.)…
7,989Totaal aantal invoer-tokens…
473Uitvoer-tokens…
1,285Redeneer-tokens…
Domeinspecifiek
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
5.9Gemiddelde score over alle benchmarktests.…
7.2Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
55.6%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
1Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.API-fout: 1Verkeerd antwoord: 1Responstijd (gem.)287msResponstijd (max)334msResponstijd (totaal)860msEen test is alleen volledig geslaagd als alle runs slagen.…
4.4Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
2Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 3Responstijd (gem.)24.90sResponstijd (max)34.96sResponstijd (totaal)74.71sEen test is alleen volledig geslaagd als alle runs slagen.…
24.90sResponstijd (gem.)…
858Totaal aantal invoer-tokens…
11,169Uitvoer-tokens…
16,249Redeneer-tokens…
Algemene intelligentie
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
4.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Instructies niet gevolgd: 1Responstijd (gem.)395msResponstijd (max)395msResponstijd (totaal)395msEen test is alleen volledig geslaagd als alle runs slagen.…
9.5Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.API-fout: 1Responstijd (gem.)2.52sResponstijd (max)2.52sResponstijd (totaal)2.52sEen test is alleen volledig geslaagd als alle runs slagen.…
2.52sResponstijd (gem.)…
360Totaal aantal invoer-tokens…
70Uitvoer-tokens…
235Redeneer-tokens…
Instructies opvolgen
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
6.3Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
50.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)752msResponstijd (max)1.22sResponstijd (totaal)1.50sEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)6.35sResponstijd (max)9.38sResponstijd (totaal)12.69sEen test is alleen volledig geslaagd als alle runs slagen.…
6.35sResponstijd (gem.)…
765Totaal aantal invoer-tokens…
182Uitvoer-tokens…
1,243Redeneer-tokens…
Puzzeloplossing
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.8Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2API-fout: 1Responstijd (gem.)1.78sResponstijd (max)3.15sResponstijd (totaal)5.34sEen test is alleen volledig geslaagd als alle runs slagen.…
9.9Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
33.3%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 2Responstijd (gem.)3.54sResponstijd (max)6.03sResponstijd (totaal)10.62sEen test is alleen volledig geslaagd als alle runs slagen.…
3.54sResponstijd (gem.)…
792Totaal aantal invoer-tokens…
771Uitvoer-tokens…
2,055Redeneer-tokens…
Toolaanroepen
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
3.0Gemiddelde score over alle benchmarktests.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.API-fout: 1Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
100.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)7.72sResponstijd (max)7.72sResponstijd (totaal)7.72sEen test is alleen volledig geslaagd als alle runs slagen.…
7.72sResponstijd (gem.)…
9,781Totaal aantal invoer-tokens…
304Uitvoer-tokens…
984Redeneer-tokens…
Algemene kennis
Score
Consistentie
Slaagpercentage per poging
Instabiele tests
Correcte tests
Responstijd (gem.)
Invoer-tokens
Uitvoer-tokens
Redeneer-tokens
LFM2-24B-A2BGearchiveerd model: dit model wordt niet langer bijgewerkt of getest op nieuwe tests.
0.0Gemiddelde score over alle benchmarktests.…
0.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Geen mislukte antwoorden.Responstijd (gem.)0msResponstijd (max)0msResponstijd (totaal)0msEen test is alleen volledig geslaagd als alle runs slagen.…
10.0Consistentie geeft stabiliteit tussen runs weer (10 = zeer consistent, zelfs als consequent fout).…
0.0%Slaagpercentage per poging = geslaagde pogingen / totale pogingen over alle runs.…
0Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).…
Een test is alleen volledig geslaagd als alle runs slagen.Verkeerd antwoord: 1Responstijd (gem.)38.47sResponstijd (max)38.47sResponstijd (totaal)38.47sEen test is alleen volledig geslaagd als alle runs slagen.…