Google: Gemini 3.5 Flash-Lite vs StepFun: Step 3.7 Flash

Step 3.7 Flash (high) unggul dalam skor rata-rata dengan 6.9 vs 6.7. Gemini 3.5 Flash-Lite (low) memiliki biaya benchmark lebih rendah di $0.145 vs $1.207. Gemini 3.5 Flash-Lite (low) lebih cepat di 2.25s vs 64.68s, dengan tingkat keberhasilan 66.7% vs 63.6%.

Model yang direkomendasikanGemini 3.5 Flash-Lite (low)Its score stays close to the best score here (6.7 vs 6.9), while costing about 8.4x less than Step 3.7 Flash (high).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-21

Metrik	Gemini 3.5 Flash-Lite Gemini 3.5 Flash-Lite low Rilis: 2026-07-21	Step 3.7 Flash Step 3.7 Flash high Rilis: 2026-05-29

Metrik	Gemini 3.5 Flash-Lite Gemini 3.5 Flash-Lite low Rilis: 2026-07-21	Step 3.7 Flash Step 3.7 Flash high Rilis: 2026-05-29
Skor	6.7	6.9
Peringkat	#95	#90
Keandalan	10.0	10.0
Konsistensi	8.2	8.0
Tes benar
Tingkat lulus per percobaan	66.7%	63.6%
Tes tidak stabil	5	5
Total Run	66	66
Biaya per hasil	1.201	10.973
Total Biaya	$0.145	$1.207
Harga input	$0.300 / 1M	$0.200 / 1M
Harga output	$2.500 / 1M	$1.150 / 1M
Total token input	144,622	98,691
Token output	15,302	1,032,395
Token penalaran	24,971	0
Waktu respons (rata-rata)	2.25s	64.68s
Waktu respons (maks)	13.50s	364.99s
Waktu respons (total)	49.58s	1423.01s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#95 Gemini 3.5 Flash-Lite

low

Biaya: $0.008
Waktu: 7.7s
Token: 3,056 tok

#90 Step 3.7 Flash

high

Biaya: $0.007
Waktu: 63.6s
Token: 6,030 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	10.0	10.0	100.0%	0		1.30s	516	278	4,147
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	4.1	7.9	11.1%	1		672ms	8,136	463	0
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	6.3	5.8	66.7%	1		8.96s	120,017	13,542	5,573
Step 3.7 Flash	8.7	6.9	83.3%	1		41.23s	73,938	49,842	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	10.0	10.0	100.0%	0		657ms	7,269	287	0
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	3.6	7.2	22.2%	1		3.63s	651	17	7,901
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	783	410,502	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	6.1	3.1	66.7%	1		1.71s	492	92	1,079
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	9.8	10.0	100.0%	0		869ms	627	70	1,093
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	7.8	10.0	66.7%	0		1.22s	576	215	2,121
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	9.8	10.0	100.0%	0		1.76s	6,176	328	340
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Gemini 3.5 Flash-Lite	4.7	1.6	66.7%	1		3.38s	162	10	2,717
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

GPT-5.5nonevsStep 3.7 Flashhigh Gemini 3.5 Flash-LitelowvsKAT-Coder-Pro V2.5none Qwen3.6 FlashmediumvsStep 3.7 Flashhigh Gemini 3.5 Flash-LitelowvsQwen3.6 35B A3Bmedium Step 3.7 FlashhighvsMiMo-V2.5-Promedium Gemini 3.5 FlashminimalvsStep 3.7 Flashhigh GPT-5.6 SolnonevsStep 3.7 Flashhigh DeepSeek V4 PrononevsStep 3.7 Flashhigh KAT-Coder-Pro V2.5mediumvsStep 3.7 Flashhigh Gemini 3.5 Flash-LitelowvsGLM 5.2none Gemini 3.5 Flash-LitelowvsLongCat 2.0high Seed-2.0-MinimediumvsStep 3.7 Flashhigh