AI BENCHY Compare

Kwaipilot: KAT-Coder-Air V2.5 vs OpenAI: GPT-5.6 Sol

Resumen

GPT-5.6 Sol lidera en puntuación media con 6.3 vs 6.2. KAT-Coder-Air V2.5 (medium) tiene menor coste de benchmark con $0.045 vs $0.225. GPT-5.6 Sol es más rápido con 1.66s vs 8.28s, con tasas de acierto de 47.6% vs 57.1%.

Modelo recomendadoGPT-5.6 SolTiene la mejor puntuación aquí (6.3) y responde aproximadamente 5.0x más rápido que KAT-Coder-Air V2.5 (medium).

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-07-14

Métrica	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lanzamiento: 2026-07-14	GPT-5.6 Sol GPT-5.6 Sol none Lanzamiento: 2026-07-09

Métrica	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lanzamiento: 2026-07-14	GPT-5.6 Sol GPT-5.6 Sol none Lanzamiento: 2026-07-09
Puntuación	6.2	6.3
Rango	#115	#106
Fiabilidad	9.7	10.0
Consistencia	8.8	9.0
Pruebas correctas
Tasa de aciertos por intento	47.6%	57.1%
Pruebas inestables	3	3
Ejecuciones totales	63	63
Costo por resultado	0.562	2.244
Costo total	$0.045	$0.225
Precio de entrada	$0.150 / 1M	$5.000 / 1M
Precio de salida	$0.600 / 1M	$30.000 / 1M
Total de tokens de entrada	42,750	34,218
Tokens de salida	7,759	1,776
Tokens de razonamiento	56,357	0
Tiempo de respuesta (promedio)	8.28s	1.66s
Tiempo de respuesta (máximo)	48.19s	3.93s
Tiempo de respuesta (total)	173.80s	34.81s

Generación showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#115 KAT-Coder-Air V2.5

medium

Coste: $0.003
Tiempo: 23.7s
Tokens: 4,924 tok

#106 GPT-5.6 Sol

none

Coste: $0.116
Tiempo: 78.7s
Tokens: 3,944 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Categoría:

Trucos anti-IA	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	8.7	8.0	91.7%	1		3.79s	672	549	4,194
GPT-5.6 Sol	8.3	10.0	75.0%	0		1.27s	606	154	0

Programación	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.6	7.0	22.2%	1		23.37s	7,893	5,199	29,973
GPT-5.6 Sol	5.5	10.0	33.3%	0		1.39s	7,302	390	0

Combinado	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		27.68s	15,132	372	4,816
GPT-5.6 Sol	3.0	10.0	0.0%	0		3.93s	11,019	300	0

Análisis y extracción de datos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.65s	7,776	268	1,881
GPT-5.6 Sol	10.0	10.0	100.0%	0		1.53s	7,140	222	0

Específico del dominio	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		4.87s	771	487	4,454
GPT-5.6 Sol	3.6	7.2	22.2%	1		1.43s	723	54	0

Inteligencia general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		9.81s	516	189	557
GPT-5.6 Sol	6.5	3.4	66.7%	1		1.52s	477	91	0

Seguimiento de instrucciones	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		1.50s	699	93	730
GPT-5.6 Sol	8.5	6.8	83.3%	1		1.33s	660	84	0

Resolución de acertijos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.6	7.2	22.2%	1		1.87s	696	265	1,184
GPT-5.6 Sol	7.7	10.0	66.7%	0		1.49s	642	211	0

Llamada de herramientas	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	317	906
GPT-5.6 Sol	10.0	10.0	100.0%	0		3.70s	5,454	246	0

Cultura general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		15.74s	204	20	7,662
GPT-5.6 Sol	3.0	10.0	0.0%	0		1.95s	195	24	0

Comparación rápida

Cambiar par de comparación