AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.7 Flash

Résumé

Step 3.7 Flash (medium) mène au score moyen avec 8.5 vs 8.0. KAT-Coder-Pro V2.5 (low) a le coût de benchmark le plus bas avec $0.220 vs $0.376. KAT-Coder-Pro V2.5 (low) est plus rapide avec 10.44s vs 20.35s, avec des taux de réussite de 71.4% vs 73.0%.

Modèle recommandéKAT-Coder-Pro V2.5 (low)Son score reste proche du meilleur score ici (8.0 vs 8.5) tout en coûtant environ 1.7x moins que Step 3.7 Flash (medium).

Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-14

Métrique	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Sortie: 2026-07-14	Step 3.7 Flash Step 3.7 Flash medium Sortie: 2026-05-29

Métrique	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Sortie: 2026-07-14	Step 3.7 Flash Step 3.7 Flash medium Sortie: 2026-05-29
Score	8.0	8.5
Rang	#35	#23
Fiabilité	9.9	9.9
Cohérence	7.3	9.3
Tests corrects
Taux de réussite par tentative	71.4%	73.0%
Tests instables	7	2
Exécutions totales	63	61
Coût par résultat	1.991	2.686
Coût total	$0.220	$0.376
Prix d'entrée	$0.740 / 1M	$0.200 / 1M
Prix de sortie	$2.960 / 1M	$1.150 / 1M
Total des jetons d'entrée	42,750	39,981
Jetons de sortie	2,167	319,958
Jetons de raisonnement	61,133	0
Temps de réponse (moy.)	10.44s	20.35s
Temps de réponse (max)	51.34s	113.98s
Temps de réponse (total)	219.17s	427.42s

Génération showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#35 KAT-Coder-Pro V2.5

low

Coût: $0.016
Temps: 47.6s
Tokens: 5,182 tok

#23 Step 3.7 Flash

medium

Coût: $0.006
Temps: 46.2s
Tokens: 4,466 tok

Meilleurs modèles par score

Score vs coût total

Temps de réponse (moy.)

Score vs Temps de réponse (moy.)

Total des jetons de sortie

Score vs Total des jetons de sortie

Répartition par catégorie

Catégorie:

Astuces anti-IA	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	6.9	5.8	75.0%	2		4.20s	672	277	4,228
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

Programmation	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		24.87s	7,893	402	24,945
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

Combiné	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		14.59s	15,132	394	3,391
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

Analyse et extraction des données	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.19s	7,776	288	1,917
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

Spécifique au domaine	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	4.1	4.4	44.5%	2		17.52s	771	35	16,877
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Intelligence générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	4.1	2.7	33.3%	1		2.32s	516	99	412
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

Suivi des instructions	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		2.53s	699	83	1,008
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

Résolution d'énigmes	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	6.4	4.4	77.8%	2		3.11s	696	289	1,820
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

Appel d'outils	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		18.45s	8,391	282	834
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

Culture générale	Score	Cohérence	Taux de réussite par tentative	Tests instables	Tests corrects	Temps de réponse (moy.)	Jetons d'entrée	Jetons de sortie	Jetons de raisonnement
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		17.06s	204	18	5,701
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

Comparaison rapide

Changer la paire de comparaison