AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs OpenAI: GPT-5 Nano

Resumo

KAT-Coder-Pro V2.5 lidera na pontuação média com 6.8 vs 6.7. GPT-5 Nano (medium) tem menor custo de benchmark com $0.081 vs $0.220. KAT-Coder-Pro V2.5 é mais rápido com 10.81s vs 42.51s, com taxas de acerto de 71.4% vs 57.1%.

Modelo recomendadoKAT-Coder-Pro V2.5Tem a melhor pontuação aqui (6.8) e responde cerca de 3.9x mais rápido que GPT-5 Nano (medium).

Benchmarks gerados a partir das suítes de teste do AI BENCHY em: 2026-07-14

Métrica	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Lançamento: 2026-07-14	GPT-5 Nano GPT-5 Nano medium Lançamento: 2025-08-07

Métrica	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Lançamento: 2026-07-14	GPT-5 Nano GPT-5 Nano medium Lançamento: 2025-08-07
Pontuação	6.8	6.7
Posição	#89	#97
Confiabilidade	10.0	10.0
Consistência	7.3	7.3
Testes corretos
Taxa de acerto por tentativa	71.4%	57.1%
Testes instáveis	7	7
Execuções totais	63	63
Custo por resultado	1.992	0.897
Custo total	$0.220	$0.081
Preço de entrada	$0.740 / 1M	$0.050 / 1M
Preço de saída	$2.960 / 1M	$0.400 / 1M
Total de tokens de entrada	42,749	34,108
Tokens de saída	63,338	5,464
Tokens de raciocínio	0	192,064
Tempo de resposta (médio)	10.81s	42.51s
Tempo de resposta (máx.)	53.57s	204.02s
Tempo de resposta (total)	227.02s	595.09s

Geração showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#89 KAT-Coder-Pro V2.5

none

Custo: $0.010
Tempo: 29.0s
Tokens: 3,439 tok

#97 GPT-5 Nano

medium

Custo: $0.006
Tempo: 108.5s
Tokens: 13,209 tok

Melhores modelos por pontuação

Pontuação vs custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Detalhamento por categoria

Categoria:

Truques anti-IA	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
GPT-5 Nano	6.5	7.9	58.3%	1		25.50s	606	1,221	21,184

Programação	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
GPT-5 Nano	7.0	7.7	55.6%	1		41.62s	7,305	740	41,152

Combinado	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	4.7	1.6	66.7%	1		30.76s	15,131	5,366	0
GPT-5 Nano	10.0	10.0	100.0%	0		65.96s	11,019	578	17,984

Análise e extração de dados	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
GPT-5 Nano	3.7	1.7	50.0%	2		21.42s	7,140	453	10,560

Específico do domínio	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
GPT-5 Nano	5.2	4.4	55.6%	2		204.02s	619	237	64,448

Inteligência geral	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
GPT-5 Nano	4.1	10.0	0.0%	0		17.51s	477	202	4,608

Seguimento de instruções	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
GPT-5 Nano	9.8	10.0	100.0%	0		15.64s	660	312	4,736

Resolução de quebra-cabeças	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
GPT-5 Nano	5.3	7.2	44.4%	1		20.63s	642	929	14,272

Chamada de ferramentas	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
GPT-5 Nano	10.0	10.0	100.0%	0		33.30s	5,445	558	6,976

Conhecimentos gerais	Pontuação	Consistência	Taxa de acerto por tentativa	Testes instáveis	Testes corretos	Tempo de resposta (médio)	Tokens de entrada	Tokens de saída	Tokens de raciocínio
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
GPT-5 Nano	3.0	10.0	0.0%	0		20.13s	195	234	6,144

Comparação rápida

Trocar par de comparação