AI BENCHY Compare

StepFun: Step 3.7 Flash vs Z.ai: GLM 5.2

Ringkasan

Step 3.7 Flash (medium) unggul dalam skor rata-rata dengan 8.5 vs 8.0. Step 3.7 Flash (medium) memiliki biaya benchmark lebih rendah di $0.376 vs $0.667. Step 3.7 Flash (medium) lebih cepat di 20.35s vs 37.09s, dengan tingkat keberhasilan 73.0% vs 77.8%.

Model yang direkomendasikanStep 3.7 Flash (medium)It has the best score here (8.5), while costing about 1.8x less than GLM 5.2 (high).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-14

Metrik	Step 3.7 Flash Step 3.7 Flash medium Rilis: 2026-05-29	GLM 5.2 GLM 5.2 high Rilis: 2026-06-17

Metrik	Step 3.7 Flash Step 3.7 Flash medium Rilis: 2026-05-29	GLM 5.2 GLM 5.2 high Rilis: 2026-06-17
Skor	8.5	8.0
Peringkat	#23	#32
Keandalan	9.9	9.3
Konsistensi	9.3	7.6
Tes benar
Tingkat lulus per percobaan	73.0%	77.8%
Tes tidak stabil	2	6
Total Run	61	63
Biaya per hasil	2.686	4.255
Total Biaya	$0.376	$0.667
Harga input	$0.200 / 1M	$0.929 / 1M
Harga output	$1.150 / 1M	$2.918 / 1M
Total token input	39,981	34,993
Token output	319,958	51,575
Token penalaran	0	166,065
Waktu respons (rata-rata)	20.35s	37.09s
Waktu respons (maks)	113.98s	180.69s
Waktu respons (total)	427.42s	778.91s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#23 Step 3.7 Flash

medium

Biaya: $0.006
Waktu: 46.2s
Token: 4,466 tok

#32 GLM 5.2

high

SVG tidak valid

Biaya: $0.000
Waktu: 300.0s
Token: 0 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0
GLM 5.2	10.0	10.0	100.0%	0		5.80s	639	406	2,660

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0
GLM 5.2	6.4	4.4	77.8%	2		73.03s	5,124	2,302	22,546

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0
GLM 5.2	10.0	10.0	100.0%	0		43.51s	12,696	711	4,267

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0
GLM 5.2	10.0	10.0	100.0%	0		5.81s	7,143	435	1,414

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0
GLM 5.2	3.5	4.4	33.3%	2		73.97s	551	46,693	90,566

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0
GLM 5.2	10.0	10.0	100.0%	0		12.90s	498	63	1,743

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0
GLM 5.2	10.0	10.0	100.0%	0		4.26s	678	151	1,210

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0
GLM 5.2	6.0	4.6	66.7%	2		33.71s	665	568	22,392

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0
GLM 5.2	10.0	10.0	100.0%	0		9.25s	6,861	246	503

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0
GLM 5.2	3.0	10.0	0.0%	0		127.82s	138	0	18,764

Perbandingan Cepat

Ganti Pasangan Perbandingan

GPT-5.2 ChatnonevsStep 3.7 Flashmedium GPT-5.4 MinimediumvsGLM 5.2high Qwen3.5 Plus 2026-02-15mediumvsGLM 5.2high KAT-Coder-Pro V2.5lowvsGLM 5.2high Nemotron 3 Ultra 550b A55bmediumTersedia gratisvsGLM 5.2high Qwen3.7 PlusmediumvsGLM 5.2high Qwen3.5-27BmediumvsGLM 5.2high Claude Sonnet 5mediumvsGLM 5.2high Qwen3.6 PlusmediumvsGLM 5.2high Gemini 2.5 FlashmediumvsGLM 5.2high GPT-5.6 TerramediumvsGLM 5.2high Claude Sonnet 4.6mediumvsGLM 5.2high