AI BENCHY Compare

OpenAI: GPT-5.6 Terra vs StepFun: Step 3.5 Flash

Ringkasan

Perbandingan benchmark GPT-5.6 Terra vs Step 3.5 Flash (medium): Step 3.5 Flash (medium) unggul dalam skor rata-rata dengan 6.6 vs 6.0. Step 3.5 Flash (medium) memiliki biaya benchmark lebih rendah di $0.070 vs $0.130. GPT-5.6 Terra lebih cepat di 1.25s vs 72.53s, dengan tingkat keberhasilan 42.9% vs 54.0%.

Model yang direkomendasikan: Step 3.5 Flash (medium) - It has the best score here (6.6), while costing about 1.9x less than GPT-5.6 Terra.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-09

Metrik	GPT-5.6 Terra GPT-5.6 Terra none Rilis: 2026-07-09	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01

Metrik	GPT-5.6 Terra GPT-5.6 Terra none Rilis: 2026-07-09	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01
Skor	6.0	6.6
Peringkat	#116	#93
Keandalan	10.0	10.0
Konsistensi	9.3	8.9
Tes benar
Tingkat lulus per percobaan	42.9%	54.0%
Tes tidak stabil	2	1
Total Run	63	60
Biaya per hasil	1.623	0.198
Total Biaya	$0.130	$0.070
Harga input	$2.500 / 1M	$0.100 / 1M
Harga output	$15.000 / 1M	$0.300 / 1M
Total token input	39,552	34,431
Token output	2,060	91,587
Token penalaran	0	195,973
Waktu respons (rata-rata)	1.25s	72.53s
Waktu respons (maks)	3.97s	453.94s
Waktu respons (total)	26.21s	1015.47s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#116 GPT-5.6 Terra

none

Biaya: $0.030
Waktu: 14.7s
Token: 2,082 tok

#93 Step 3.5 Flash

medium

Biaya: $0.008
Waktu: 277.1s
Token: 23,695 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	4.8	10.0	25.0%	0		942ms	606	191	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	5.5	10.0	33.3%	0		1.00s	7,302	336	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	3.0	10.0	0.0%	0		3.97s	14,961	437	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	10.0	10.0	100.0%	0		1.13s	7,140	222	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	5.3	7.2	44.4%	1		757ms	723	68	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	5.0	10.0	0.0%	0		1.03s	477	102	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	8.5	6.8	83.3%	1		1.15s	660	101	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	5.3	10.0	33.3%	0		1.23s	642	235	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	9.6	10.0	100.0%	0		3.10s	6,846	344	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.6 Terra	3.0	10.0	0.0%	0		787ms	195	24	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Perbandingan Cepat

Ganti Pasangan Perbandingan

Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 Flashmedium North Mini CodemediumTersedia gratisvsGPT-5.6 Terranone Gemini 3.1 Flash LiteminimalvsGPT-5.6 Terranone Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium Gemini 3.1 Flash LitelowvsStep 3.5 Flashmedium Gemini 3.5 FlashminimalvsStep 3.5 Flashmedium Qwen3.7 MaxnonevsStep 3.5 Flashmedium Gemini 3 Flash PreviewnonevsStep 3.5 Flashmedium GPT-5.6 SolnonevsStep 3.5 Flashmedium GPT-5.6 TerranonevsQwen3.5-35B-A3Bmedium Gemma 4 31BmediumTersedia gratisvsGPT-5.6 Terranone Nemotron 3 SupermediumTersedia gratisvsGPT-5.6 Terranone