AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs Qwen: Qwen3.5-Flash

Resumo

A pontuação média está praticamente empatada em 6.8 vs 6.8. Qwen3.5-Flash (medium) tem menor custo de benchmark com $0.080 vs $0.220. KAT-Coder-Pro V2.5 é mais rápido com 10.81s vs 63.29s, com taxas de acerto de 71.4% vs 71.4%.

Modelo recomendadoKAT-Coder-Pro V2.5Tem a melhor pontuação aqui (6.8) e responde cerca de 5.9x mais rápido que Qwen3.5-Flash (medium).

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-07-14

Métrica	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Lançamento: 2026-07-14	Qwen3.5-Flash Qwen3.5-Flash medium Lançamento: 2026-02-24

Métrica	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Lançamento: 2026-07-14	Qwen3.5-Flash Qwen3.5-Flash medium Lançamento: 2026-02-24
Pontuação	6.8	6.8
Posição	#89	#87
Confiabilidade	10.0	10.0
Consistência	7.3	8.1
Testes corretos
Taxa de acerto por tentativa	71.4%	71.4%
Testes instáveis	7	5
Execuções totais	63	63
Custo por resultado	1.992	0.871
Custo total	$0.220	$0.080
Preço de entrada	$0.740 / 1M	$0.065 / 1M
Preço de saída	$2.960 / 1M	$0.260 / 1M
Total de tokens de entrada	42,749	38,926
Tokens de saída	63,338	2,088
Tokens de raciocínio	0	294,598
Tempo de resposta (médio)	10.81s	63.29s
Tempo de resposta (máx.)	53.57s	234.29s
Tempo de resposta (total)	227.02s	1265.85s

Geração showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none

Custo: $0.010
Tempo: 29.0s
Tokens: 3,439 tok

#87 Qwen3.5-Flash

medium

Custo: $0.002
Tempo: 25.8s
Tokens: 4,294 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Categoria:

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		59.11s	672	383	32,992

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Qwen3.5-Flash	3.7	7.2	22.2%	1		58.87s	6,685	302	90,081

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	4.7	1.6	66.7%	1		30.76s	15,131	5,366	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		17.78s	14,934	483	8,270

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Qwen3.5-Flash	7.3	5.9	83.3%	1		56.99s	6,061	235	16,237

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
Qwen3.5-Flash	5.3	7.2	44.4%	1		146.50s	581	58	43,615

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Qwen3.5-Flash	6.1	3.1	66.7%	1		40.05s	516	99	38,486

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		63.49s	699	98	14,139

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Qwen3.5-Flash	8.2	7.2	88.9%	1		27.61s	381	89	12,457

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Qwen3.5-Flash	10.0	10.0	100.0%	0		10.33s	8,193	309	1,284

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Qwen3.5-Flash	3.0	10.0	0.0%	0		48.98s	204	32	37,037

Comparação rápida

Trocar par de comparação