GPT-5.4 (medium) vs Qwen3.8 27B (high)

Model yang Dibandingkan

Model yang direkomendasikan Qwen3.8 27B (high)

Its score stays close to the best score here (8.7 vs 8.8), while costing about 6.7x less than GPT-5.4 (medium).

Metrik	GPT-5.4 GPT-5.4 medium Rilis: 2026-03-05	Qwen3.8 27B Qwen3.8 27B high Rilis: 2026-08-14 Tersedia gratis

Metrik	GPT-5.4 GPT-5.4 medium Rilis: 2026-03-05	Qwen3.8 27B Qwen3.8 27B high Rilis: 2026-08-14 Tersedia gratis
Skor	8.8	8.7
Peringkat	#50	#55
Keandalan	10.0	9.7
Konsistensi	8.7	9.2
Percobaan	69/69	69/69
Tes benar
Tingkat lulus per percobaan	78.3%	78.3%
Tes tidak stabil	4	2
Total Run	69	69
Biaya per hasil	12.535	~1.751
Total Biaya	$2.006	~$0.298
Harga input	$2.500 / 1M	T/A
Harga output	$15.000 / 1M	T/A
Total token input	223,210	348,967
Token output	7,312	1,005
Token penalaran	89,190	676,075
Waktu respons (rata-rata)	24.81s	166.34s
Waktu respons (maks)	100.41s	640.85s
Waktu respons (total)	570.60s	3825.81s
Parameter	~1.5T total (~100B aktif)	27.3B
Ketersediaan	Tertutup	Bobot tersedia

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

medium

high

Kategori:

Tugas agen	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	10.0	10.0	100.0%	0		67.82s	142,074	1,157	4,879
Qwen3.8 27B	10.0	10.0	100.0%	0		132.27s	248,788	101	20,344

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	8.3	10.0	75.0%	0		4.11s	606	240	1,511
Qwen3.8 27B	10.0	10.0	100.0%	0		8.10s	1,128	114	5,319

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	8.8	7.8	88.9%	1		44.36s	7,305	433	24,216
Qwen3.8 27B	8.1	7.0	88.9%	1		248.62s	8,235	346	143,335

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	10.0	10.0	100.0%	0		29.77s	58,038	4,214	13,351
Qwen3.8 27B	10.0	10.0	100.0%	0		185.57s	68,997	66	72,556

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	10.0	10.0	100.0%	0		5.32s	7,140	234	804
Qwen3.8 27B	10.0	10.0	100.0%	0		34.85s	9,675	123	10,320

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	5.3	7.2	44.4%	1		72.44s	628	61	36,544
Qwen3.8 27B	5.3	10.0	33.3%	0		526.74s	975	6	234,555

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	4.7	3.1	33.3%	1		4.92s	477	145	321
Qwen3.8 27B	5.0	10.0	0.0%	0		8.45s	630	63	1,191

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	10.0	10.0	100.0%	0		3.11s	660	93	897
Qwen3.8 27B	9.8	10.0	100.0%	0		8.24s	927	42	2,871

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	8.2	7.2	88.9%	1		9.14s	642	441	3,815
Qwen3.8 27B	7.6	7.2	77.8%	1		199.90s	1,038	120	138,427

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	10.0	10.0	100.0%	0		13.28s	5,445	264	1,031
Qwen3.8 27B	10.0	10.0	100.0%	0		5.62s	8,256	21	912

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4	3.0	10.0	0.0%	0		13.95s	195	30	1,821
Qwen3.8 27B	3.0	10.0	0.0%	0		263.98s	318	3	46,245

Ganti Pasangan Perbandingan