AI BENCHY Compare

OpenAI: GPT-4o-mini vs StepFun: Step 3.5 Flash

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-11

Metrik	GPT-4o-mini GPT-4o-mini none Rilis: 2024-07-18	Step 3.5 Flash Step 3.5 Flash none Rilis: 2026-02-01

Metrik	GPT-4o-mini GPT-4o-mini none Rilis: 2024-07-18	Step 3.5 Flash Step 3.5 Flash none Rilis: 2026-02-01
Skor	4.9	3.0
Peringkat	#83	#93
Konsistensi	9.9	10.0
Tes benar
Tingkat lulus per percobaan	22.2%	0.0%
Tes tidak stabil	0	0
Total Run	54	3
Biaya per hasil	0.122	0.000
Total Biaya	$0.005	$0.000
Harga input	$0.150 / 1M	$0.100 / 1M
Harga output	$0.600 / 1M	$0.300 / 1M
Token output	1,947	0
Token penalaran	0	0
Waktu respons (rata-rata)	2.00s	0ms
Waktu respons (maks)	7.58s	0ms
Waktu respons (total)	21.99s	0ms

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	4.8	10.0	25.0%	0		1.34s	186	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	3.0	8.7	0.0%	0		2.55s	347	0
Step 3.5 Flash	3.0	10.0	0.0%	0		0ms	0	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	3.0	10.0	0.0%	0		7.58s	568	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	10.0	10.0	100.0%	0		1.27s	183	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	3.0	10.0	0.0%	0		637ms	15	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	4.0	10.0	0.0%	0		909ms	66	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	4.8	10.0	0.0%	0		1.27s	69	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	3.7	10.0	0.0%	0		1.30s	308	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
GPT-4o-mini	10.0	10.0	100.0%	0		2.51s	205	0
Step 3.5 Flash	-	-	-	-	-	-	-	-

Perbandingan Cepat

Ganti Pasangan Perbandingan

GPT-4o-mininonevsQwen3 Coder Nextmedium GPT-4o-mininonevsGLM 4.7 Flashmedium MiniMax M2.7mediumvsGPT-4o-mininone GPT-4o-mininonevsQwen3.5-9Bmedium Mistral Small 4mediumvsGPT-4o-mininone MiniMax M2.5mediumTersedia gratisvsGPT-4o-mininone Qwen3.5-9BmediumvsStep 3.5 Flashnone Step 3.5 FlashnonevsGLM 4.7 Flashmedium Mercury 2mediumvsGPT-4o-mininone Qwen3 Coder NextmediumvsStep 3.5 Flashnone GPT-4o-mininonevsGrok 4.1 Fastmedium Nemotron 3 SupermediumTersedia gratisvsGPT-4o-mininone