AI BENCHY Compare

Kwaipilot: KAT-Coder-Air V2.5 vs Nemotron 3 Ultra 550b A55b

Rezumat

Nemotron 3 Ultra 550b A55b conduce la scorul mediu cu 6.1 vs 6.0. Nemotron 3 Ultra 550b A55b are costul de benchmark mai mic, $0.027 vs $0.030. Nemotron 3 Ultra 550b A55b este mai rapid cu 2.27s vs 6.47s, cu rate de reușită de 46.0% vs 44.4%.

Model recomandatNemotron 3 Ultra 550b A55bAre cel mai bun scor aici (6.1) și răspunde de aproximativ 2.8x mai rapid decât KAT-Coder-Air V2.5 (low).

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-07-14

Metrică	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 low Lansare: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none Lansare: 2026-06-04 Disponibil gratuit

Metrică	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 low Lansare: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none Lansare: 2026-06-04 Disponibil gratuit
Scor	6.0	6.1
Rang	#124	#121
Fiabilitate	9.7	10.0
Consistență	7.6	9.2
Teste corecte
Rată de trecere pe încercare	46.0%	44.4%
Teste instabile	6	2
Rulări totale	63	63
Cost per rezultat	0.427	0.000
Cost total	$0.030	$0.027
Preț de intrare	$0.150 / 1M	$0.500 / 1M
Preț de ieșire	$0.600 / 1M	$2.200 / 1M
Total tokenuri de intrare	42,464	43,326
Tokenuri de ieșire	4,227	2,138
Tokenuri de raționament	34,864	0
Timp de răspuns (mediu)	6.47s	2.27s
Timp de răspuns (maxim)	25.49s	13.49s
Timp de răspuns (total)	135.80s	47.65s

Prezentare generare

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#124 KAT-Coder-Air V2.5

low

Cost: $0.004
Timp: 29.9s
Tokenuri: 6,008 tok

#121 Nemotron 3 Ultra 550b A55b

none

Cost: $0.000
Timp: 149.6s
Tokenuri: 3,405 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Categorie:

Trucuri anti-AI	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	7.3	5.8	83.3%	2		3.50s	672	422	1,548
Nemotron 3 Ultra 550b A55b	3.5	8.0	16.7%	1		2.35s	696	239	0

Programare	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	3.5	7.3	11.1%	1		11.06s	7,893	2,001	13,623
Nemotron 3 Ultra 550b A55b	5.5	10.0	33.3%	0		1.02s	7,623	369	0

Combinat	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		25.49s	15,132	368	5,707
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		4.79s	15,558	357	0

Parsare și extragere de date	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		2.82s	7,776	261	1,069
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		1.94s	7,944	249	0

Specific domeniului	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	2.9	7.2	11.1%	1		4.99s	553	310	3,332
Nemotron 3 Ultra 550b A55b	5.3	10.0	33.3%	0		698ms	789	27	0

Inteligență generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		10.11s	516	142	596
Nemotron 3 Ultra 550b A55b	5.0	10.0	0.0%	0		13.49s	516	101	0

Respectarea instrucțiunilor	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	9.8	10.0	100.0%	0		1.64s	699	89	640
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		1.46s	723	69	0

Rezolvare de puzzle-uri	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	3.1	4.6	22.2%	2		1.57s	696	294	796
Nemotron 3 Ultra 550b A55b	5.9	7.2	55.6%	1		1.06s	726	352	0

Apelare instrumente	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.47s	8,391	330	1,065
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		2.99s	8,544	264	0

Cultură generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		19.98s	136	10	6,488
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		1.83s	207	111	0

Comparație rapidă

Schimbă perechea de comparație