AI BENCHY Compare

OpenAI: GPT-5.2 Chat vs StepFun: Step 3.7 Flash

Ringkasan

Skor rata-rata hampir imbang di 8.5 vs 8.5. Step 3.7 Flash (medium) memiliki biaya benchmark lebih rendah di $0.376 vs $0.393. GPT-5.2 Chat lebih cepat di 7.13s vs 20.35s, dengan tingkat keberhasilan 74.6% vs 73.0%.

Model yang direkomendasikanGPT-5.2 ChatIt has the best score here (8.5), while responding about 2.9x faster than Step 3.7 Flash (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-14

Metrik	GPT-5.2 Chat GPT-5.2 Chat none Rilis: 2025-12-11	Step 3.7 Flash Step 3.7 Flash medium Rilis: 2026-05-29

Metrik	GPT-5.2 Chat GPT-5.2 Chat none Rilis: 2025-12-11	Step 3.7 Flash Step 3.7 Flash medium Rilis: 2026-05-29
Skor	8.5	8.5
Peringkat	#22	#23
Keandalan	10.0	9.9
Konsistensi	8.9	9.3
Tes benar
Tingkat lulus per percobaan	74.6%	73.0%
Tes tidak stabil	3	2
Total Run	63	61
Biaya per hasil	2.803	2.686
Total Biaya	$0.393	$0.376
Harga input	$1.750 / 1M	$0.200 / 1M
Harga output	$14.000 / 1M	$1.150 / 1M
Total token input	34,212	39,981
Token output	23,744	319,958
Token penalaran	0	0
Waktu respons (rata-rata)	7.13s	20.35s
Waktu respons (maks)	38.52s	113.98s
Waktu respons (total)	149.69s	427.42s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#22 GPT-5.2 Chat

none

Biaya: $0.010
Waktu: 15.3s
Token: 797 tok

#23 Step 3.7 Flash

medium

Biaya: $0.006
Waktu: 46.2s
Token: 4,466 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	8.7	7.9	91.7%	1		3.40s	606	1,807	0
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	8.8	7.8	88.9%	1		9.82s	7,305	6,731	0
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		9.12s	11,019	1,243	0
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		3.05s	7,140	980	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	5.3	10.0	33.3%	0		17.78s	723	7,810	0
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	4.4	3.0	33.3%	1		3.20s	477	335	0
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	9.8	10.0	100.0%	0		5.51s	660	1,441	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	7.7	10.0	66.7%	0		4.10s	642	1,603	0
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		4.68s	5,445	555	0
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.2 Chat	3.0	10.0	0.0%	0		6.89s	195	1,239	0
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

Seed-2.0-LitemediumvsGPT-5.2 Chatnone GPT-5.2 ChatnonevsGLM 5medium GPT-5.2 ChatnonevsGrok 4.5medium GPT-5.2 ChatnonevsGLM 5.2medium DeepSeek V4 FlashhighvsStep 3.7 Flashmedium DeepSeek V4 FlashhighvsGPT-5.2 Chatnone Claude Opus 4.7mediumvsGPT-5.2 Chatnone Gemini 2.5 FlashmediumvsGPT-5.2 Chatnone GPT-5.6 TerrahighvsStep 3.7 Flashmedium GPT-5.2 ChatnonevsQwen3.7 Plusmedium Claude Opus 4.8mediumvsGPT-5.2 Chatnone Nemotron 3 Ultra 550b A55bmediumTersedia gratisvsGPT-5.2 Chatnone