AI BENCHY Compare

Kwaipilot: KAT-Coder-Air V2.5 vs Nemotron 3 Ultra 550b A55b

Samenvatting

Nemotron 3 Ultra 550b A55b (medium) leidt in gemiddelde score met 8.1 vs 6.2. KAT-Coder-Air V2.5 (high) heeft lagere benchmarkkosten met $0.064 vs $0.158. KAT-Coder-Air V2.5 (high) is sneller met 11.02s vs 15.05s, met slagingspercentages van 46.0% vs 69.8%.

Aanbevolen modelNemotron 3 Ultra 550b A55b (medium)Het heeft de sterkste score in deze vergelijking (8.1) en de beste balans tussen kosten en responstijd over alle 2 modellen.

Benchmarks gegenereerd uit AI BENCHY-testsuites op: 2026-07-14

Metriek	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 high Releasedatum: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium Releasedatum: 2026-06-04 Gratis beschikbaar

Metriek	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 high Releasedatum: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b medium Releasedatum: 2026-06-04 Gratis beschikbaar
Score	6.2	8.1
Rang	#110	#31
Betrouwbaarheid	9.7	9.7
Consistentie	7.6	8.8
Correcte tests
Slaagpercentage per poging	46.0%	69.8%
Instabiele tests	6	3
Totaal runs	63	63
Kosten per resultaat	0.910	0.000
Totale kosten	$0.064	$0.158
Invoerprijs	$0.150 / 1M	$0.500 / 1M
Uitvoerprijs	$0.600 / 1M	$2.200 / 1M
Totaal aantal invoer-tokens	41,748	46,813
Uitvoer-tokens	3,894	18,002
Redeneer-tokens	91,773	53,091
Responstijd (gem.)	11.02s	15.05s
Responstijd (max)	104.98s	43.93s
Responstijd (totaal)	231.37s	316.09s

Generatie-showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#110 KAT-Coder-Air V2.5

high

Ongeldige SVG

Kosten: $0.000
Tijd: 300.0s
Tokens: 0 tok

#31 Nemotron 3 Ultra 550b A55b

medium

Ongeldige SVG

Kosten: $0.000
Tijd: 300.0s
Tokens: 0 tok

Topmodellen op score

Score vs totale kosten

Responstijd (gem.)

Score vs Responstijd (gem.)

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Categorie-uitsplitsing

Categorie:

Anti-AI-trucs	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	6.9	5.8	75.0%	2		2.49s	615	204	1,290
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		8.62s	780	835	1,485

Programmeren	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	4.3	7.3	11.1%	1		39.07s	6,948	1,166	55,883
Nemotron 3 Ultra 550b A55b	8.4	7.4	88.9%	1		26.53s	7,686	2,854	17,725

Gecombineerd	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		30.61s	15,132	422	8,958
Nemotron 3 Ultra 550b A55b	9.8	10.0	100.0%	0		43.93s	17,574	1,040	3,590

Gegevensparsering en extractie	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.59s	7,776	284	2,140
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		5.68s	7,989	473	1,285

Domeinspecifiek	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	2.9	7.2	11.1%	1		7.47s	771	914	8,602
Nemotron 3 Ultra 550b A55b	3.5	4.4	33.3%	2		24.90s	858	11,169	16,249

Algemene intelligentie	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	5.1	10.0	0.0%	0		7.10s	516	179	539
Nemotron 3 Ultra 550b A55b	3.7	9.5	0.0%	0		2.52s	360	70	235

Instructies opvolgen	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	9.8	10.0	100.0%	0		1.51s	699	90	675
Nemotron 3 Ultra 550b A55b	9.8	10.0	100.0%	0		6.35s	765	182	1,243

Puzzeloplossing	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	3.5	4.4	33.3%	2		2.47s	696	285	1,576
Nemotron 3 Ultra 550b A55b	5.5	9.9	33.3%	0		3.54s	792	771	2,055

Toolaanroepen	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	330	1,082
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		7.72s	9,781	304	984

Algemene kennis	Score	Consistentie	Slaagpercentage per poging	Instabiele tests	Correcte tests	Responstijd (gem.)	Invoer-tokens	Uitvoer-tokens	Redeneer-tokens
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		21.72s	204	20	11,028
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		38.47s	228	304	8,240

Snelle vergelijking

Vergelijkingspaar wisselen

Seed-2.0-LitenonevsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsGPT-5.6 Lunalow KAT-Coder-Air V2.5highvsGPT-5.5none Nemotron 3 Ultra 550b A55bmediumGratis beschikbaarvsGPT-5.6 Terrahigh KAT-Coder-Air V2.5highvsQwen3.5-35B-A3Bmedium Gemini 2.5 FlashnonevsKAT-Coder-Air V2.5high Gemma 4 31BmediumGratis beschikbaarvsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsGPT-5.6 Solnone Gemini 3.1 Flash LiteminimalvsKAT-Coder-Air V2.5high KAT-Coder-Air V2.5highvsNemotron 3 SupermediumGratis beschikbaar Nemotron 3 Ultra 550b A55bmediumGratis beschikbaarvsGLM 5.2high Gemini 3.1 Flash LitenonevsKAT-Coder-Air V2.5high