Kwaipilot: KAT-Coder-Pro V2.5 vs StepFun: Step 3.7 Flash

Step 3.7 Flash (high) unggul dalam skor rata-rata dengan 6.9 vs 6.7. KAT-Coder-Pro V2.5 memiliki biaya benchmark lebih rendah di $0.476 vs $1.207. KAT-Coder-Pro V2.5 lebih cepat di 25.56s vs 64.68s, dengan tingkat keberhasilan 68.2% vs 63.6%.

Model yang direkomendasikanKAT-Coder-Pro V2.5Its score stays close to the best score here (6.7 vs 6.9), while costing about 2.5x less than Step 3.7 Flash (high).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-17

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Step 3.7 Flash Step 3.7 Flash high Rilis: 2026-05-29

Metrik	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 none Rilis: 2026-07-14	Step 3.7 Flash Step 3.7 Flash high Rilis: 2026-05-29
Skor	6.7	6.9
Peringkat	#88	#83
Keandalan	10.0	10.0
Konsistensi	7.4	8.0
Tes benar
Tingkat lulus per percobaan	68.2%	63.6%
Tes tidak stabil	7	5
Total Run	66	66
Biaya per hasil	4.319	10.973
Total Biaya	$0.476	$1.207
Harga input	$0.740 / 1M	$0.200 / 1M
Harga output	$2.960 / 1M	$1.150 / 1M
Total token input	98,499	98,691
Token output	135,861	1,032,395
Token penalaran	0	0
Waktu respons (rata-rata)	25.56s	64.68s
Waktu respons (maks)	335.41s	364.99s
Waktu respons (total)	562.43s	1423.01s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#88 KAT-Coder-Pro V2.5

none

Biaya: $0.010
Waktu: 29.0s
Token: 3,439 tok

#83 Step 3.7 Flash

high

Biaya: $0.007
Waktu: 63.6s
Token: 6,030 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.7	7.9	91.7%	1		4.58s	672	3,998	0
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	6.1	4.7	66.7%	2		22.52s	7,893	22,440	0
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.1	5.0	33.3%	1		183.08s	70,881	77,889	0
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.07s	7,776	2,361	0
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.6	7.2	22.2%	1		21.64s	771	20,972	0
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	783	410,502	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	4.8	3.2	33.3%	1		5.16s	516	1,067	0
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	9.8	10.0	100.0%	0		2.61s	699	1,084	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	8.2	7.2	88.9%	1		3.03s	696	1,929	0
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		5.93s	8,391	1,103	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.91s	204	3,018	0
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

GPT-5.5nonevsStep 3.7 Flashhigh Qwen3.6 FlashmediumvsStep 3.7 Flashhigh KAT-Coder-Pro V2.5nonevsQwen3.6 35B A3Bmedium Step 3.7 FlashhighvsMiMo-V2.5-Promedium Gemini 3.5 FlashminimalvsStep 3.7 Flashhigh GPT-5.6 SolnonevsStep 3.7 Flashhigh DeepSeek V4 PrononevsStep 3.7 Flashhigh KAT-Coder-Pro V2.5mediumvsStep 3.7 Flashhigh Gemma 4 26B A4BmediumTersedia gratisvsKAT-Coder-Pro V2.5none Seed-2.0-MinimediumvsStep 3.7 Flashhigh Gemini 3 Flash PreviewnonevsStep 3.7 Flashhigh Gemini 3.5 FlashminimalvsKAT-Coder-Pro V2.5none