AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs DeepSeek: DeepSeek V4 Pro

Ringkasan

Perbandingan benchmark Claude Sonnet 4.6 vs DeepSeek V4 Pro: DeepSeek V4 Pro unggul dalam skor rata-rata dengan 8.1 vs 7.8. DeepSeek V4 Pro memiliki biaya benchmark lebih rendah di $0.098 vs $1.418. Claude Sonnet 4.6 lebih cepat di 17.06s vs 72.22s, dengan tingkat keberhasilan 65.1% vs 66.7%.

Model yang direkomendasikan: DeepSeek V4 Pro - It has the best score here (8.1), while costing about 14.5x less than Claude Sonnet 4.6.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-12

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Rilis: 2026-02-17	DeepSeek V4 Pro DeepSeek V4 Pro high Rilis: 2026-04-24

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Rilis: 2026-02-17	DeepSeek V4 Pro DeepSeek V4 Pro high Rilis: 2026-04-24
Skor	7.8	8.1
Peringkat	#35	#30
Keandalan	10.0	9.6
Konsistensi	9.1	7.8
Tes benar
Tingkat lulus per percobaan	65.1%	66.7%
Tes tidak stabil	2	6
Total Run	63	57
Biaya per hasil	10.904	0.978
Total Biaya	$1.418	$0.098
Harga input	$3.000 / 1M	$0.435 / 1M
Harga output	$15.000 / 1M	$0.870 / 1M
Total token input	49,112	35,122
Token output	54,703	6,315
Token penalaran	29,970	93,205
Waktu respons (rata-rata)	17.06s	72.22s
Waktu respons (maks)	46.35s	437.44s
Waktu respons (total)	221.83s	1444.45s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#35 Claude Sonnet 4.6

medium

Invalid SVG

Cost: $0.000
Time: 300.0s
Tokens: 0 tok

#30 DeepSeek V4 Pro

high

Cost: $0.023
Time: 257.6s
Tokens: 14,870 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	6.5	10.0	50.0%	0		2.98s	789	1,046	1,093
DeepSeek V4 Pro	5.7	5.9	58.3%	2		25.70s	536	149	3,214

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	5.7	6.6	44.4%	1		33.29s	6,995	16,089	3,686
DeepSeek V4 Pro	7.7	10.0	66.7%	0		308.19s	1,583	368	42,658

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		46.35s	18,351	5,871	3,962
DeepSeek V4 Pro	10.0	10.0	100.0%	0		38.17s	14,060	454	5,836

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		13.90s	8,676	649	742
DeepSeek V4 Pro	10.0	10.0	100.0%	0		25.03s	7,690	274	2,166

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	2.9	7.2	11.1%	1		0ms	471	25,790	16,919
DeepSeek V4 Pro	3.6	7.2	22.2%	1		130.09s	472	4,400	26,367

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.94s	564	256	433
DeepSeek V4 Pro	10.0	10.0	100.0%	0		8.83s	471	115	1,013

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		2.61s	792	318	552
DeepSeek V4 Pro	7.8	6.6	83.3%	1		8.73s	627	66	2,726

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		5.31s	816	592	646
DeepSeek V4 Pro	6.9	4.9	77.8%	2		56.85s	591	178	2,563

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		7.48s	11,454	655	351
DeepSeek V4 Pro	9.8	10.0	100.0%	0		15.92s	8,909	295	701

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	3.0	10.0	0.0%	0		30.09s	204	3,437	1,586
DeepSeek V4 Pro	3.0	10.0	0.0%	0		34.01s	183	16	5,961

Perbandingan Cepat

Ganti Pasangan Perbandingan