Navegación
AI BENCHY
Advertise here

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.5 Flash

Resumen

KAT-Coder-Pro V2.5 lidera en puntuación media con 6.8 vs 6.6. Step 3.5 Flash (medium) tiene menor coste de benchmark con $0.070 vs $0.220. KAT-Coder-Pro V2.5 es más rápido con 10.81s vs 72.53s, con tasas de acierto de 71.4% vs 54.0%.

Modelo recomendadoKAT-Coder-Pro V2.5Tiene la mejor puntuación aquí (6.8) y responde aproximadamente 6.7x más rápido que Step 3.5 Flash (medium).

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-07-14

Métrica KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Lanzamiento: 2026-07-14 Step 3.5 Flash Step 3.5 Flash medium Lanzamiento: 2026-02-01
Puntuación 6.8 6.6
Rango #89 #98
Fiabilidad 10.0 10.0
Consistencia 7.3 8.9
Pruebas correctas
Tasa de aciertos por intento 71.4% 54.0%
Pruebas inestables 7 1
Ejecuciones totales 63 60
Costo por resultado 1.992 0.198
Costo total $0.220 $0.070
Precio de entrada $0.740 / 1M $0.100 / 1M
Precio de salida $2.960 / 1M $0.300 / 1M
Total de tokens de entrada 42,749 34,431
Tokens de salida 63,338 91,587
Tokens de razonamiento 0 195,973
Tiempo de respuesta (promedio) 10.81s 72.53s
Tiempo de respuesta (máximo) 53.57s 453.94s
Tiempo de respuesta (total) 227.02s 1015.47s

Generación showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none
Coste
$0.010
Tiempo
29.0s
Tokens
3,439 tok

#98 Step 3.5 Flash

medium
Coste
$0.008
Tiempo
277.1s
Tokens
23,695 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Programación Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
KAT-Coder-Pro V2.5 6.1 4.7 66.7% 2 22.52s 7,893 22,440 0
Step 3.5 Flash 2.4 5.2 0.0% 0 258.38s 2,211 13,207 22,429

Comparación rápida

Cambiar par de comparación