AI BENCHY Compare

Kwaipilot: KAT-Coder-Air V2.5 vs Nemotron 3 Ultra 550b A55b

Resumen

KAT-Coder-Air V2.5 (medium) lidera en puntuación media con 6.2 vs 6.1. Nemotron 3 Ultra 550b A55b tiene menor coste de benchmark con $0.027 vs $0.045. Nemotron 3 Ultra 550b A55b es más rápido con 2.27s vs 8.28s, con tasas de acierto de 47.6% vs 44.4%.

Modelo recomendadoNemotron 3 Ultra 550b A55bSu puntuación se mantiene cerca de la mejor aquí (6.1 vs 6.2) y cuesta aproximadamente 1.7x menos que KAT-Coder-Air V2.5 (medium).

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-07-14

Métrica	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lanzamiento: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none Lanzamiento: 2026-06-04 Disponible gratis

Métrica	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lanzamiento: 2026-07-14	Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none Lanzamiento: 2026-06-04 Disponible gratis
Puntuación	6.2	6.1
Rango	#115	#121
Fiabilidad	9.7	10.0
Consistencia	8.8	9.2
Pruebas correctas
Tasa de aciertos por intento	47.6%	44.4%
Pruebas inestables	3	2
Ejecuciones totales	63	63
Costo por resultado	0.562	0.000
Costo total	$0.045	$0.027
Precio de entrada	$0.150 / 1M	$0.500 / 1M
Precio de salida	$0.600 / 1M	$2.200 / 1M
Total de tokens de entrada	42,750	43,326
Tokens de salida	7,759	2,138
Tokens de razonamiento	56,357	0
Tiempo de respuesta (promedio)	8.28s	2.27s
Tiempo de respuesta (máximo)	48.19s	13.49s
Tiempo de respuesta (total)	173.80s	47.65s

Generación showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#115 KAT-Coder-Air V2.5

medium

Coste: $0.003
Tiempo: 23.7s
Tokens: 4,924 tok

#121 Nemotron 3 Ultra 550b A55b

none

Coste: $0.000
Tiempo: 149.6s
Tokens: 3,405 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Categoría:

Trucos anti-IA	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	8.7	8.0	91.7%	1		3.79s	672	549	4,194
Nemotron 3 Ultra 550b A55b	3.5	8.0	16.7%	1		2.35s	696	239	0

Programación	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.6	7.0	22.2%	1		23.37s	7,893	5,199	29,973
Nemotron 3 Ultra 550b A55b	5.5	10.0	33.3%	0		1.02s	7,623	369	0

Combinado	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		27.68s	15,132	372	4,816
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		4.79s	15,558	357	0

Análisis y extracción de datos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.65s	7,776	268	1,881
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		1.94s	7,944	249	0

Específico del dominio	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		4.87s	771	487	4,454
Nemotron 3 Ultra 550b A55b	5.3	10.0	33.3%	0		698ms	789	27	0

Inteligencia general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		9.81s	516	189	557
Nemotron 3 Ultra 550b A55b	5.0	10.0	0.0%	0		13.49s	516	101	0

Seguimiento de instrucciones	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		1.50s	699	93	730
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		1.46s	723	69	0

Resolución de acertijos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.6	7.2	22.2%	1		1.87s	696	265	1,184
Nemotron 3 Ultra 550b A55b	5.9	7.2	55.6%	1		1.06s	726	352	0

Llamada de herramientas	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	317	906
Nemotron 3 Ultra 550b A55b	10.0	10.0	100.0%	0		2.99s	8,544	264	0

Cultura general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		15.74s	204	20	7,662
Nemotron 3 Ultra 550b A55b	3.0	10.0	0.0%	0		1.83s	207	111	0

Comparación rápida

Cambiar par de comparación