AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Kwaipilot: KAT-Coder-Pro V2.5

Resumen

Claude Sonnet 4.6 (medium) lidera en puntuación media con 7.8 vs 7.7. KAT-Coder-Pro V2.5 (high) tiene menor coste de benchmark con $0.246 vs $1.418. KAT-Coder-Pro V2.5 (high) es más rápido con 12.30s vs 17.06s, con tasas de acierto de 65.1% vs 63.5%.

Modelo recomendadoKAT-Coder-Pro V2.5 (high)Su puntuación se mantiene cerca de la mejor aquí (7.7 vs 7.8) y cuesta aproximadamente 5.8x menos que Claude Sonnet 4.6 (medium).

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-07-14

Métrica	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Lanzamiento: 2026-02-17	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high Lanzamiento: 2026-07-14

Métrica	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Lanzamiento: 2026-02-17	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 high Lanzamiento: 2026-07-14
Puntuación	7.8	7.7
Rango	#40	#53
Fiabilidad	10.0	10.0
Consistencia	9.1	8.1
Pruebas correctas
Tasa de aciertos por intento	65.1%	63.5%
Pruebas inestables	2	5
Ejecuciones totales	63	63
Costo por resultado	10.904	2.228
Costo total	$1.418	$0.246
Precio de entrada	$3.000 / 1M	$0.740 / 1M
Precio de salida	$15.000 / 1M	$2.960 / 1M
Total de tokens de entrada	49,112	42,750
Tokens de salida	54,703	2,509
Tokens de razonamiento	29,970	69,594
Tiempo de respuesta (promedio)	17.06s	12.30s
Tiempo de respuesta (máximo)	46.35s	95.65s
Tiempo de respuesta (total)	221.83s	258.34s

Generación showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#40 Claude Sonnet 4.6

medium

SVG inválido

Coste: $0.000
Tiempo: 300.0s
Tokens: 0 tok

#53 KAT-Coder-Pro V2.5

high

Coste: $0.009
Tiempo: 26.4s
Tokens: 3,117 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Categoría:

Trucos anti-IA	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	6.5	10.0	50.0%	0		2.98s	789	1,046	1,093
KAT-Coder-Pro V2.5	7.0	8.0	66.7%	1		3.17s	672	447	2,716

Programación	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	5.7	6.6	44.4%	1		33.29s	6,995	16,089	3,686
KAT-Coder-Pro V2.5	6.4	7.9	44.4%	1		22.00s	7,893	422	20,461

Combinado	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		46.35s	18,351	5,871	3,962
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		13.44s	15,132	394	2,807

Análisis y extracción de datos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		13.90s	8,676	649	742
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.13s	7,776	278	1,960

Específico del dominio	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	2.9	7.2	11.1%	1		0ms	471	25,790	16,919
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.33s	771	33	35,701

Inteligencia general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.94s	564	256	433
KAT-Coder-Pro V2.5	5.1	10.0	0.0%	0		3.27s	516	139	647

Seguimiento de instrucciones	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		2.61s	792	318	552
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.67s	699	84	976

Resolución de acertijos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		5.31s	816	592	646
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.38s	696	428	1,936

Llamada de herramientas	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		7.48s	11,454	655	351
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		28.04s	8,391	268	896

Cultura general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	3.0	10.0	0.0%	0		30.09s	204	3,437	1,586
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		5.22s	204	16	1,494

Comparación rápida

Cambiar par de comparación