AI BENCHY Compare

Google: Gemini 3.5 Flash vs Kwaipilot: KAT-Coder-Air V2.5

Resumen

Gemini 3.5 Flash (high) lidera en puntuación media con 9.8 vs 6.2. KAT-Coder-Air V2.5 (medium) tiene menor coste de benchmark con $0.045 vs $1.115. KAT-Coder-Air V2.5 (medium) es más rápido con 8.28s vs 8.84s, con tasas de acierto de 96.8% vs 47.6%.

Modelo recomendadoGemini 3.5 Flash (high)Tiene la puntuación más alta en esta comparación (9.8) y el mejor equilibrio general entre coste y tiempo de respuesta en los 2 modelos.

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-07-14

Métrica	Gemini 3.5 Flash Gemini 3.5 Flash high Lanzamiento: 2026-05-19	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lanzamiento: 2026-07-14

Métrica	Gemini 3.5 Flash Gemini 3.5 Flash high Lanzamiento: 2026-05-19	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lanzamiento: 2026-07-14
Puntuación	9.8	6.2
Rango	#1	#115
Fiabilidad	10.0	9.7
Consistencia	9.6	8.8
Pruebas correctas
Tasa de aciertos por intento	96.8%	47.6%
Pruebas inestables	1	3
Ejecuciones totales	63	63
Costo por resultado	5.575	0.562
Costo total	$1.115	$0.045
Precio de entrada	$1.500 / 1M	$0.150 / 1M
Precio de salida	$9.000 / 1M	$0.600 / 1M
Total de tokens de entrada	37,594	42,750
Tokens de salida	1,975	7,759
Tokens de razonamiento	115,638	56,357
Tiempo de respuesta (promedio)	8.84s	8.28s
Tiempo de respuesta (máximo)	34.82s	48.19s
Tiempo de respuesta (total)	185.57s	173.80s

Generación showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#1 Gemini 3.5 Flash

high

Coste: $0.208
Tiempo: 118.2s
Tokens: 23,158 tok

#115 KAT-Coder-Air V2.5

medium

Coste: $0.003
Tiempo: 23.7s
Tokens: 4,924 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Categoría:

Trucos anti-IA	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.57s	492	174	4,997
KAT-Coder-Air V2.5	8.7	8.0	91.7%	1		3.79s	672	549	4,194

Programación	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.96s	8,118	456	47,129
KAT-Coder-Air V2.5	3.6	7.0	22.2%	1		23.37s	7,893	5,199	29,973

Combinado	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.37s	12,873	351	16,323
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		27.68s	15,132	372	4,816

Análisis y extracción de datos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		6.43s	7,548	279	8,466
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.65s	7,776	268	1,881

Específico del dominio	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	7.6	7.2	77.8%	1		14.09s	633	12	24,721
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		4.87s	771	487	4,454

Inteligencia general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.63s	486	115	1,650
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		9.81s	516	189	557

Seguimiento de instrucciones	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.35s	615	70	3,799
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		1.50s	699	93	730

Resolución de acertijos	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.23s	558	241	4,940
KAT-Coder-Air V2.5	3.6	7.2	22.2%	1		1.87s	696	265	1,184

Llamada de herramientas	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	9.8	10.0	100.0%	0		4.96s	6,115	265	1,608
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	317	906

Cultura general	Puntuación	Consistencia	Tasa de aciertos por intento	Pruebas inestables	Pruebas correctas	Tiempo de respuesta (promedio)	Tokens de entrada	Tokens de salida	Tokens de razonamiento
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.94s	156	12	2,005
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		15.74s	204	20	7,662

Comparación rápida

Cambiar par de comparación