Qwen3.8 27B vs Step 3.5 Flash (medium)

Model yang Dibandingkan

Model yang direkomendasikan Qwen3.8 27B

It has the best score here (5.4), while costing about 10.9x less than Step 3.5 Flash (medium).

Metrik	Qwen3.8 27B Qwen3.8 27B none Rilis: 2026-08-14 Tersedia gratis	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01

Metrik	Qwen3.8 27B Qwen3.8 27B none Rilis: 2026-08-14 Tersedia gratis	Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01
Skor	5.4	5.4
Peringkat	#272	#276
Keandalan	10.0	10.0
Konsistensi	10.0	8.3
Percobaan	69/69	66/69
Tes benar
Tingkat lulus per percobaan	39.1%	49.3%
Tes tidak stabil	0	3
Total Run	69	66
Biaya per hasil	~0.107	1.047
Total Biaya	~$0.010	$0.105
Harga input	T/A	$0.100 / 1M
Harga output	T/A	$0.300 / 1M
Total token input	281,460	139,086
Token output	13,791	193,584
Token penalaran	0	413,546
Waktu respons (rata-rata)	5.05s	190.48s
Waktu respons (maks)	47.42s	1597.85s
Waktu respons (total)	116.11s	3238.23s
Parameter	27.3B	196B total (11B aktif)
Ketersediaan	Bobot tersedia	Sumber terbuka

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

none

medium

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	5.0	10.0	0.0%	0		47.42s	158,997	2,346	0
Step 3.5 Flash	2.8	1.6	33.3%	1		172.16s	73,370	4,160	34,434

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	6.5	10.0	50.0%	0		828ms	696	267	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	5.5	10.0	33.3%	0		1.19s	7,911	408	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	3.0	10.0	0.0%	0		24.10s	95,181	9,588	0
Step 3.5 Flash	6.5	10.0	50.0%	0		813.71s	44,914	18,150	111,004

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	6.5	10.0	50.0%	0		1.14s	7,788	246	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	7.7	10.0	66.7%	0		552ms	798	27	0
Step 3.5 Flash	3.5	4.4	33.3%	2		311.60s	682	126,213	175,555

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	4.2	9.9	0.0%	0		1.31s	522	126	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	6.3	10.0	50.0%	0		582ms	711	72	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	6.0	10.0	33.3%	0		1.25s	714	411	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	10.0	10.0	100.0%	0		2.75s	7,932	273	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Qwen3.8 27B	3.0	10.0	0.0%	0		703ms	210	27	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Ganti Pasangan Perbandingan