AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Nemotron 3 Ultra 550b A55b

Samenvatting

Nemotron 3 Ultra 550b A55b (medium) leidt in gemiddelde score met 8.1 vs 7.7. Nemotron 3 Ultra 550b A55b (medium) heeft lagere benchmarkkosten met $0.158 vs $0.246. KAT-Coder-Pro V2.5 (high) is sneller met 12.30s vs 15.05s, met slagingspercentages van 63.5% vs 69.8%.

Aanbevolen modelNemotron 3 Ultra 550b A55b (medium)Het heeft hier de beste score (8.1) en kost ongeveer 1.6x minder dan KAT-Coder-Pro V2.5 (high).

Benchmarks gegenereerd uit AI BENCHY-testsuites op: 2026-07-14

Metriek	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high Releasedatum: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium Releasedatum: 2026-06-04 Gratis beschikbaar

Metriek	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high Releasedatum: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium Releasedatum: 2026-06-04 Gratis beschikbaar
Score	7.7	8.1
Rang	#53	#31
Betrouwbaarheid	10.0	9.7
Consistentie	8.1	8.8
Correcte tests
Slaagpercentage per poging	63.5%	69.8%
Instabiele tests	5	3
Totaal runs	63	63
Kosten per resultaat	2.228	0.000
Totale kosten	$0.246	$0.158
Invoerprijs	$0.740 / 1M	$0.500 / 1M
Uitvoerprijs	$2.960 / 1M	$2.200 / 1M
Totaal aantal invoer-tokens	42,750	46,813
Uitvoer-tokens	2,509	18,002
Redeneer-tokens	69,594	53,091
Responstijd (gem.)	12.30s	15.05s
Responstijd (max)	95.65s	43.93s
Responstijd (totaal)	258.34s	316.09s

Generatie-showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#53 KAT-Coder-Pro V2.5

high

Kosten: $0.009
Tijd: 26.4s
Tokens: 3,117 tok

#31 Nemotron 3 Ultra 550b A55b

medium

Ongeldige SVG

Kosten: $0.000
Tijd: 300.0s
Tokens: 0 tok

Topmodellen op score

Score vs totale kosten

Responstijd (gem.)

Score vs Responstijd (gem.)

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Categorie-uitsplitsing

Categorie:

Anti-AI-trucs	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	7.0	8.0	66.7%	1		3.17s	672	447	2,716
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		8.62s	780	835	1,485

Programmeren	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	6.4	7.9	44.4%	1		22.00s	7,893	422	20,461
Nemotron 3 Ultra 550b A55b	8.4	7.4	88.9%	1		26.53s	7,686	2,854	17,725

Gecombineerd	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		13.44s	15,132	394	2,807
Nemotron 3 Ultra 550b A55b	9.8	10.0	100.0%	0		43.93s	17,574	1,040	3,590

Gegevensparsering en extractie	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.13s	7,776	278	1,960
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		5.68s	7,989	473	1,285

Domeinspecifiek	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.33s	771	33	35,701
Nemotron 3 Ultra 550b A55b	3.5	4.4	33.3%	2		24.90s	858	11,169	16,249

Algemene intelligentie	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	5.1	10.0	0.0%	0		3.27s	516	139	647
Nemotron 3 Ultra 550b A55b	3.7	9.5	0.0%	0		2.52s	360	70	235

Instructies opvolgen	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.67s	699	84	976
Nemotron 3 Ultra 550b A55b	9.8	10.0	100.0%	0		6.35s	765	182	1,243

Puzzeloplossing	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.38s	696	428	1,936
Nemotron 3 Ultra 550b A55b	5.5	9.9	33.3%	0		3.54s	792	771	2,055

Toolaanroepen	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		28.04s	8,391	268	896
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		7.72s	9,781	304	984

Algemene kennis	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		5.22s	204	16	1,494
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		38.47s	228	304	8,240

Snelle vergelijking

Vergelijkingspaar wisselen