AI BENCHY Compare

DeepSeek: DeepSeek V4 Pro vs Qwen: Qwen3.5-27B

Ringkasan

Perbandingan benchmark DeepSeek V4 Pro vs Qwen3.5-27B: DeepSeek V4 Pro unggul dalam skor rata-rata dengan 8.1 vs 7.9. DeepSeek V4 Pro memiliki biaya benchmark lebih rendah di $0.098 vs $0.536. Qwen3.5-27B lebih cepat di 68.39s vs 72.22s, dengan tingkat keberhasilan 66.7% vs 73.0%.

Model yang direkomendasikan: DeepSeek V4 Pro - It has the best score here (8.1), while costing about 5.5x less than Qwen3.5-27B.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-12

Metrik	DeepSeek V4 Pro DeepSeek V4 Pro high Rilis: 2026-04-24	Qwen3.5-27B Qwen3.5-27B medium Rilis: 2026-02-24

Metrik	DeepSeek V4 Pro DeepSeek V4 Pro high Rilis: 2026-04-24	Qwen3.5-27B Qwen3.5-27B medium Rilis: 2026-02-24
Skor	8.1	7.9
Peringkat	#30	#33
Keandalan	9.6	10.0
Konsistensi	7.8	8.5
Tes benar
Tingkat lulus per percobaan	66.7%	73.0%
Tes tidak stabil	6	4
Total Run	57	63
Biaya per hasil	0.978	4.901
Total Biaya	$0.098	$0.536
Harga input	$0.435 / 1M	$0.195 / 1M
Harga output	$0.870 / 1M	$1.560 / 1M
Total token input	35,122	42,164
Token output	6,315	8,534
Token penalaran	93,205	329,289
Waktu respons (rata-rata)	72.22s	68.39s
Waktu respons (maks)	437.44s	234.36s
Waktu respons (total)	1444.45s	1436.24s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#30 DeepSeek V4 Pro

high

Cost: $0.023
Time: 257.6s
Tokens: 14,870 tok

#33 Qwen3.5-27B

medium

Cost: $0.008
Time: 62.0s
Tokens: 3,099 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	5.7	5.9	58.3%	2		25.70s	536	149	3,214
Qwen3.5-27B	8.7	7.9	91.7%	1		19.75s	672	569	31,505

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	7.7	10.0	66.7%	0		308.19s	1,583	368	42,658
Qwen3.5-27B	6.2	7.1	55.6%	1		160.69s	7,895	6,381	89,388

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	10.0	10.0	100.0%	0		38.17s	14,060	454	5,836
Qwen3.5-27B	10.0	10.0	100.0%	0		163.96s	14,946	483	9,991

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	10.0	10.0	100.0%	0		25.03s	7,690	274	2,166
Qwen3.5-27B	10.0	10.0	100.0%	0		30.26s	7,782	270	16,150

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	3.6	7.2	22.2%	1		130.09s	472	4,400	26,367
Qwen3.5-27B	5.3	10.0	33.3%	0		79.53s	553	43	52,368

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	10.0	10.0	100.0%	0		8.83s	471	115	1,013
Qwen3.5-27B	6.1	3.1	66.7%	1		101.41s	524	70	23,147

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	7.8	6.6	83.3%	1		8.73s	627	66	2,726
Qwen3.5-27B	10.0	10.0	100.0%	0		19.66s	699	97	11,638

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	6.9	4.9	77.8%	2		56.85s	591	178	2,563
Qwen3.5-27B	8.2	7.7	77.8%	1		59.60s	696	242	70,096

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	9.8	10.0	100.0%	0		15.92s	8,909	295	701
Qwen3.5-27B	10.0	10.0	100.0%	0		7.45s	8,193	348	1,323

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
DeepSeek V4 Pro	3.0	10.0	0.0%	0		34.01s	183	16	5,961
Qwen3.5-27B	3.0	10.0	0.0%	0		85.11s	204	31	23,683

Perbandingan Cepat

Ganti Pasangan Perbandingan