AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Kwaipilot: KAT-Coder-Pro V2.5

Resumen

KAT-Coder-Pro V2.5 (low) lidera en puntuación media con 8.0 vs 7.8. KAT-Coder-Pro V2.5 (low) tiene menor coste de benchmark con $0.220 vs $1.418. KAT-Coder-Pro V2.5 (low) es más rápido con 10.44s vs 17.06s, con tasas de acierto de 65.1% vs 71.4%.

Modelo recomendadoKAT-Coder-Pro V2.5 (low)Tiene la mejor puntuación aquí (8.0) y cuesta aproximadamente 6.5x menos que Claude Sonnet 4.6 (medium).

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-07-14

Métrica	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Lanzamiento: 2026-02-17	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Lanzamiento: 2026-07-14

Métrica	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Lanzamiento: 2026-02-17	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Lanzamiento: 2026-07-14
Puntuación	7.8	8.0
Rango	#40	#35
Fiabilidad	10.0	9.9
Consistencia	9.1	7.3
Pruebas correctas
Tasa de aciertos por intento	65.1%	71.4%
Pruebas inestables	2	7
Ejecuciones totales	63	63
Costo por resultado	10.904	1.991
Costo total	$1.418	$0.220
Precio de entrada	$3.000 / 1M	$0.740 / 1M
Precio de salida	$15.000 / 1M	$2.960 / 1M
Total de tokens de entrada	49,112	42,750
Tokens de salida	54,703	2,167
Tokens de razonamiento	29,970	61,133
Tiempo de respuesta (promedio)	17.06s	10.44s
Tiempo de respuesta (máximo)	46.35s	51.34s
Tiempo de respuesta (total)	221.83s	219.17s

Generación showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#40 Claude Sonnet 4.6

medium

SVG inválido

Coste: $0.000
Tiempo: 300.0s
Tokens: 0 tok

#35 KAT-Coder-Pro V2.5

low

Coste: $0.016
Tiempo: 47.6s
Tokens: 5,182 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Categoría:

Trucos anti-IA	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	6.5	10.0	50.0%	0		2.98s	789	1,046	1,093
KAT-Coder-Pro V2.5	6.9	5.8	75.0%	2		4.20s	672	277	4,228

Programación	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	5.7	6.6	44.4%	1		33.29s	6,995	16,089	3,686
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		24.87s	7,893	402	24,945

Combinado	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		46.35s	18,351	5,871	3,962
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		14.59s	15,132	394	3,391

Análisis y extracción de datos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		13.90s	8,676	649	742
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.19s	7,776	288	1,917

Específico del dominio	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	2.9	7.2	11.1%	1		0ms	471	25,790	16,919
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		17.52s	771	35	16,877

Inteligencia general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.94s	564	256	433
KAT-Coder-Pro V2.5	4.1	2.7	33.3%	1		2.32s	516	99	412

Seguimiento de instrucciones	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		2.61s	792	318	552
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		2.53s	699	83	1,008

Resolución de acertijos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		5.31s	816	592	646
KAT-Coder-Pro V2.5	6.4	4.4	77.8%	2		3.11s	696	289	1,820

Llamada de herramientas	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	10.0	10.0	100.0%	0		7.48s	11,454	655	351
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		18.45s	8,391	282	834

Cultura general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Claude Sonnet 4.6	3.0	10.0	0.0%	0		30.09s	204	3,437	1,586
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		17.06s	204	18	5,701

Comparación rápida

Cambiar par de comparación

Claude Sonnet 4.6mediumvsGrok 4.5low KAT-Coder-Pro V2.5lowvsQwen3.5 Plus 2026-02-15medium KAT-Coder-Pro V2.5lowvsGPT-5.4 Minimedium KAT-Coder-Pro V2.5lowvsGLM 5.2high KAT-Coder-Pro V2.5lowvsQwen3.5-27Bmedium Claude Sonnet 5mediumvsKAT-Coder-Pro V2.5low Claude Sonnet 4.6mediumvsGPT-5.6 Terralow KAT-Coder-Pro V2.5lowvsQwen3.6 Plusmedium Claude Sonnet 4.6mediumvsStep 3.7 Flashlow Claude Sonnet 4.6mediumvsGPT-5.6 Lunahigh KAT-Coder-Pro V2.5lowvsGPT-5.6 Terramedium Claude Sonnet 4.6mediumvsKAT-Coder-Pro V2.5high