AI BENCHY Compare

DeepSeek: DeepSeek V4 Flash vs StepFun: Step 3.7 Flash

Ringkasan

Step 3.7 Flash (medium) unggul dalam skor rata-rata dengan 8.5 vs 8.3. DeepSeek V4 Flash (high) memiliki biaya benchmark lebih rendah di $0.027 vs $0.376. Step 3.7 Flash (medium) lebih cepat di 20.35s vs 45.85s, dengan tingkat keberhasilan 74.6% vs 73.0%.

Model yang direkomendasikanDeepSeek V4 Flash (high)Its score stays close to the best score here (8.3 vs 8.5), while costing about 14.4x less than Step 3.7 Flash (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-14

Metrik	DeepSeek V4 Flash DeepSeek V4 Flash high Rilis: 2026-04-24	Step 3.7 Flash Step 3.7 Flash medium Rilis: 2026-05-29

Metrik	DeepSeek V4 Flash DeepSeek V4 Flash high Rilis: 2026-04-24	Step 3.7 Flash Step 3.7 Flash medium Rilis: 2026-05-29
Skor	8.3	8.5
Peringkat	#27	#23
Keandalan	10.0	9.9
Konsistensi	8.5	9.3
Tes benar
Tingkat lulus per percobaan	74.6%	73.0%
Tes tidak stabil	4	2
Total Run	63	61
Biaya per hasil	0.299	2.686
Total Biaya	$0.027	$0.376
Harga input	$0.090 / 1M	$0.200 / 1M
Harga output	$0.180 / 1M	$1.150 / 1M
Total token input	39,745	39,981
Token output	10,310	319,958
Token penalaran	123,501	0
Waktu respons (rata-rata)	45.85s	20.35s
Waktu respons (maks)	218.13s	113.98s
Waktu respons (total)	962.79s	427.42s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#27 DeepSeek V4 Flash

high

Biaya: $0.003
Waktu: 93.1s
Token: 7,926 tok

#23 Step 3.7 Flash

medium

Biaya: $0.006
Waktu: 46.2s
Token: 4,466 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	8.3	10.0	75.0%	0		28.51s	540	140	7,770
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	7.8	10.0	66.7%	0		50.60s	7,279	395	34,862
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	10.0	10.0	100.0%	0		76.57s	14,016	465	7,347
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	10.0	10.0	100.0%	0		28.03s	7,290	201	1,179
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	4.1	4.4	44.5%	2		100.31s	666	27	59,249
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	6.1	3.1	66.7%	1		25.15s	471	79	632
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	10.0	10.0	100.0%	0		15.36s	627	63	1,622
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	8.2	7.2	88.9%	1		26.11s	594	196	1,767
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	10.0	10.0	100.0%	0		74.73s	8,079	228	542
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Flash	3.0	10.0	0.0%	0		54.46s	183	8,516	8,531
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

Perbandingan Cepat

Ganti Pasangan Perbandingan