AI BENCHY Compare

OpenAI: GPT-5.2 Chat vs StepFun: Step 3.5 Flash

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-16

Metrik	GPT-5.2 Chat GPT-5.2 Chat none Rilis: 2025-12-11	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01

Metrik	GPT-5.2 Chat GPT-5.2 Chat none Rilis: 2025-12-11	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01
Skor	7.9	7.9
Peringkat	#28	#30
Konsistensi	8.7	9.1
Tes benar
Tingkat lulus per percobaan	75.9%	70.6%
Tes tidak stabil	3	2
Total Run	54	49
Biaya per hasil	2.424	0.000
Total Biaya	$0.291	$0.000
Harga input	$1.750 / 1M	$0.100 / 1M
Harga output	$14.000 / 1M	$0.300 / 1M
Token output	17,346	71,904
Token penalaran	0	155,607
Waktu respons (rata-rata)	6.84s	26.78s
Waktu respons (maks)	38.52s	170.45s
Waktu respons (total)	123.17s	294.58s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	8.7	7.9	91.7%	1		3.40s	1,807	0
Step 3.5 Flash	10.0	10.0	100.0%	0		13.56s	14,376	17,668

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		8.97s	1,345	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		9.12s	1,243	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	1,176	12,984

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		3.05s	980	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	600	13,886

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	5.3	10.0	33.3%	0		17.78s	7,810	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	45,350	90,436

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	4.4	3.0	33.3%	1		3.20s	335	0
Step 3.5 Flash	5.5	10.0	0.0%	0		6.54s	2,214	2,584

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	7.5	6.1	83.3%	1		5.46s	1,528	0
Step 3.5 Flash	8.5	6.8	83.3%	1		4.98s	2,284	3,412

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	7.7	10.0	66.7%	0		4.42s	1,743	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.72s	5,629	10,835

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5.2 Chat	10.0	10.0	100.0%	0		4.68s	555	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	275	3,802

Perbandingan Cepat

Ganti Pasangan Perbandingan

Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium DeepSeek V3.2mediumvsGPT-5.2 Chatnone GPT-5.2 ChatnonevsGLM 5V Turbomedium Claude Sonnet 4.6mediumvsGPT-5.2 Chatnone GPT-5.2 ChatnonevsQwen3.5-Flashmedium Gemma 4 26B A4BmediumTersedia gratisvsGPT-5.2 Chatnone GPT-5.2 ChatnonevsGLM 5.1medium GPT-5.2 ChatnonevsMiMo-V2-Promedium Gemini 3.1 Flash Lite PreviewlowvsGPT-5.2 Chatnone GPT-5.2 ChatnonevsQwen3.6 Plusmedium Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 Flashmedium GPT-5.2 ChatnonevsQwen3.5-122B-A10Bmedium