AI BENCHY Compare

OpenAI: GPT-5 Nano vs StepFun: Step 3.5 Flash

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-11

Metrik	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07	Step 3.5 Flash Step 3.5 Flash none Rilis: 2026-02-01

Metrik	GPT-5 Nano GPT-5 Nano medium Rilis: 2025-08-07	Step 3.5 Flash Step 3.5 Flash none Rilis: 2026-02-01
Skor	6.3	3.0
Peringkat	#54	#93
Konsistensi	6.5	10.0
Tes benar
Tingkat lulus per percobaan	59.3%	0.0%
Tes tidak stabil	8	0
Total Run	54	3
Biaya per hasil	0.942	0.000
Total Biaya	$0.066	$0.000
Harga input	$0.050 / 1M	$0.100 / 1M
Harga output	$0.400 / 1M	$0.300 / 1M
Token output	4,980	0
Token penalaran	156,288	0
Waktu respons (rata-rata)	44.13s	0ms
Waktu respons (maks)	204.02s	0ms
Waktu respons (total)	485.47s	0ms

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	6.5	7.9	58.3%	1		25.50s	1,221	21,184
Step 3.5 Flash	-	-	-	-	-	-	-	-

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	6.7	3.5	66.7%	1		40.73s	480	12,992
Step 3.5 Flash	3.0	10.0	0.0%	0		0ms	0	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	10.0	10.0	100.0%	0		65.96s	578	17,984
Step 3.5 Flash	-	-	-	-	-	-	-	-

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	3.7	1.7	50.0%	2		21.42s	453	10,560
Step 3.5 Flash	-	-	-	-	-	-	-	-

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	5.2	4.4	55.6%	2		204.02s	237	64,448
Step 3.5 Flash	-	-	-	-	-	-	-	-

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	4.1	10.0	0.0%	0		17.51s	202	4,608
Step 3.5 Flash	-	-	-	-	-	-	-	-

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	8.5	6.8	83.3%	1		11.90s	382	4,096
Step 3.5 Flash	-	-	-	-	-	-	-	-

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	5.3	7.2	44.4%	1		19.81s	869	13,440
Step 3.5 Flash	-	-	-	-	-	-	-	-

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-5 Nano	10.0	10.0	100.0%	0		33.30s	558	6,976
Step 3.5 Flash	-	-	-	-	-	-	-	-

Perbandingan Cepat

Ganti Pasangan Perbandingan

GPT-5 NanomediumvsGLM 5V Turbonone GPT-5 NanomediumvsQwen3.5-Flashnone Gemma 4 26B A4BnoneTersedia gratisvsGPT-5 Nanomedium Seed-2.0-LitenonevsGPT-5 Nanomedium Gemini 2.5 FlashnonevsGPT-5 Nanomedium GPT-5 NanomediumvsQwen3.5-35B-A3Bnone DeepSeek V3.2nonevsGPT-5 Nanomedium GPT-5 NanomediumvsMiMo-V2-Omninone GPT-5 NanomediumvsMiMo-V2-Pronone GPT-5 NanomediumvsQwen3.5-27Bnone GPT-5 NanomediumvsGLM 5none GPT-5 NanomediumvsQwen3.5 Plus 2026-02-15none