Anthropic: Claude Opus 4.6 vs StepFun: Step 3.7 Flash

Claude Opus 4.6 (medium) unggul dalam skor rata-rata dengan 7.7 vs 7.3. Step 3.7 Flash (low) memiliki biaya benchmark lebih rendah di $0.454 vs $3.059. Step 3.7 Flash (low) lebih cepat di 20.68s vs 34.27s, dengan tingkat keberhasilan 63.6% vs 68.2%.

Model yang direkomendasikanStep 3.7 Flash (low)Its score stays close to the best score here (7.3 vs 7.7), while costing about 6.7x less than Claude Opus 4.6 (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-25

Metrik	Claude Opus 4.6 Claude Opus 4.6 medium Rilis: 2026-02-05	Step 3.7 Flash Step 3.7 Flash low Rilis: 2026-05-29

Metrik	Claude Opus 4.6 Claude Opus 4.6 medium Rilis: 2026-02-05	Step 3.7 Flash Step 3.7 Flash low Rilis: 2026-05-29
Skor	7.7	7.3
Peringkat	#50	#75
Keandalan	10.0	10.0
Konsistensi	8.8	8.1
Tes benar
Tingkat lulus per percobaan	63.6%	68.2%
Tes tidak stabil	3	5
Total Run	66	66
Biaya per hasil	23.524	3.782
Total Biaya	$3.059	$0.454
Harga input	$5.000 / 1M	$0.200 / 1M
Harga output	$25.000 / 1M	$1.150 / 1M
Total token input	108,615	103,833
Token output	72,286	376,581
Token penalaran	28,315	0
Waktu respons (rata-rata)	34.27s	20.68s
Waktu respons (maks)	151.51s	124.75s
Waktu respons (total)	513.99s	455.01s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#50 Claude Opus 4.6

medium

SVG tidak valid

Biaya: $0.000
Waktu: 300.0s
Token: 0 tok

#75 Step 3.7 Flash

low

SVG tidak valid

Biaya: $0.004
Waktu: 25.3s
Token: 3,072 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	6.4	5.8	66.7%	2		7.45s	840	986	1,071
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	5.7	7.1	44.4%	1		30.10s	8,522	13,057	4,121
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	10.0	10.0	100.0%	0		114.08s	76,073	33,018	9,509
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	10.0	10.0	100.0%	0		7.37s	8,676	691	757
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	3.0	10.0	0.0%	0		83.40s	674	14,642	8,687
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	10.0	10.0	100.0%	0		5.04s	564	188	292
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	10.0	10.0	100.0%	0		2.43s	792	266	467
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	7.7	10.0	66.7%	0		4.71s	816	532	630
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	10.0	10.0	100.0%	0		9.73s	11,454	861	329
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.6	3.0	10.0	0.0%	0		63.24s	204	8,045	2,452
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

Claude Opus 4.6mediumvsGPT-5.6 Lunahigh Claude Opus 4.8nonevsStep 3.7 Flashlow Kimi K2.6mediumvsStep 3.7 Flashlow KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow Claude Opus 4.6mediumvsDeepSeek V4 Flashhigh Claude Opus 4.6mediumvsDeepSeek V4 Prohigh Gemini 3.1 Flash LitemediumvsStep 3.7 Flashlow Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow Qwen3.5 Plus 2026-04-20mediumvsStep 3.7 Flashlow Claude Sonnet 4.6nonevsStep 3.7 Flashlow Qwen3.7 PlusnonevsStep 3.7 Flashlow Qwen3.5-122B-A10BmediumvsStep 3.7 Flashlow