Meituan: LongCat 2.0 vs StepFun: Step 3.7 Flash

LongCat 2.0 (medium) unggul dalam skor rata-rata dengan 7.4 vs 7.3. Step 3.7 Flash (low) memiliki biaya benchmark lebih rendah di $0.454 vs $0.478. Step 3.7 Flash (low) lebih cepat di 20.68s vs 136.64s, dengan tingkat keberhasilan 60.6% vs 68.2%.

Model yang direkomendasikanStep 3.7 Flash (low)Its score stays close to the best score here (7.3 vs 7.4), while responding about 6.6x faster than LongCat 2.0 (medium).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-21

Metrik	LongCat 2.0 LongCat 2.0 medium Rilis: 2026-07-20	Step 3.7 Flash Step 3.7 Flash low Rilis: 2026-05-29

Metrik	LongCat 2.0 LongCat 2.0 medium Rilis: 2026-07-20	Step 3.7 Flash Step 3.7 Flash low Rilis: 2026-05-29
Skor	7.4	7.3
Peringkat	#64	#71
Keandalan	9.8	10.0
Konsistensi	8.9	8.1
Tes benar
Tingkat lulus per percobaan	60.6%	68.2%
Tes tidak stabil	3	5
Total Run	66	66
Biaya per hasil	3.978	3.782
Total Biaya	$0.478	$0.454
Harga input	$0.300 / 1M	$0.200 / 1M
Harga output	$1.200 / 1M	$1.150 / 1M
Total token input	97,315	103,833
Token output	44,384	376,581
Token penalaran	329,012	0
Waktu respons (rata-rata)	136.64s	20.68s
Waktu respons (maks)	939.52s	124.75s
Waktu respons (total)	3006.01s	455.01s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#64 LongCat 2.0

medium

Biaya: $0.016
Waktu: 285.1s
Token: 13,057 tok

#71 Step 3.7 Flash

low

SVG tidak valid

Biaya: $0.004
Waktu: 25.3s
Token: 3,072 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	10.0	10.0	100.0%	0		9.65s	588	201	4,412
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	10.0	10.0	100.0%	0		455.00s	7,419	533	214,143
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	7.3	5.8	83.3%	1		151.04s	72,348	4,675	38,668
Step 3.7 Flash	7.3	5.8	83.3%	1		66.18s	77,415	93,682	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	6.3	10.0	50.0%	0		10.63s	7,653	198	2,536
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	2.9	7.2	11.1%	1		339.86s	496	37,855	37,080
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	4.8	3.2	33.3%	1		16.35s	480	121	1,598
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	6.5	10.0	50.0%	0		7.38s	657	78	1,652
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	5.4	10.0	33.3%	0		8.84s	636	388	2,562
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	10.0	10.0	100.0%	0		10.67s	6,840	249	581
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
LongCat 2.0	3.0	10.0	0.0%	0		191.19s	198	86	25,780
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

Claude Opus 4.8nonevsStep 3.7 Flashlow Kimi K2.6mediumvsStep 3.7 Flashlow LongCat 2.0mediumvsQwen3.7 Maxnone KAT-Coder-Pro V2.5highvsStep 3.7 Flashlow Gemini 3 Flash PreviewlowvsLongCat 2.0medium KAT-Coder-Pro V2.5lowvsLongCat 2.0medium Gemini 3.1 Flash LitemediumvsStep 3.7 Flashlow Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow Qwen3.5 Plus 2026-04-20mediumvsStep 3.7 Flashlow Claude Sonnet 4.6nonevsLongCat 2.0medium LongCat 2.0mediumvsGPT-5.6 Terralow Claude Sonnet 4.6nonevsStep 3.7 Flashlow