AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs MoonshotAI: Kimi K3

Ringkasan

Claude Opus 4.8 (medium) unggul dalam skor rata-rata dengan 8.8 vs 8.5. Claude Opus 4.8 (medium) memiliki biaya benchmark lebih rendah di $1.107 vs $3.112. Claude Opus 4.8 (medium) lebih cepat di 9.72s vs 122.48s, dengan tingkat keberhasilan 84.1% vs 82.5%.

Model yang direkomendasikanClaude Opus 4.8 (medium)It has the best score here (8.8), while costing about 2.8x less than Kimi K3 (max).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-16

Metrik	Claude Opus 4.8 Claude Opus 4.8 medium Rilis: 2026-05-28	Kimi K3 Kimi K3 max Rilis: 2026-07-16

Metrik	Claude Opus 4.8 Claude Opus 4.8 medium Rilis: 2026-05-28	Kimi K3 Kimi K3 max Rilis: 2026-07-16
Skor	8.8	8.5
Peringkat	#16	#21
Keandalan	10.0	9.4
Konsistensi	9.6	9.2
Tes benar
Tingkat lulus per percobaan	84.1%	82.5%
Tes tidak stabil	1	2
Total Run	63	63
Biaya per hasil	6.512	19.446
Total Biaya	$1.107	$3.112
Harga input	$5.000 / 1M	$3.000 / 1M
Harga output	$25.000 / 1M	$15.000 / 1M
Total token input	61,007	34,916
Token output	26,495	2,910
Token penalaran	5,901	197,529
Waktu respons (rata-rata)	9.72s	122.48s
Waktu respons (maks)	38.03s	766.58s
Waktu respons (total)	204.19s	2327.06s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#16 Claude Opus 4.8

medium

Biaya: $0.057
Waktu: 23.1s
Token: 2,412 tok

#21 MoonshotAI: Kimi K3

max

Biaya: $0.281
Waktu: 506.9s
Token: 18,863 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		3.95s	834	1,179	478
Kimi K3	10.0	10.0	100.0%	0		10.24s	1,638	496	2,629

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		15.33s	10,590	9,945	1,381
Kimi K3	10.0	10.0	100.0%	0		325.79s	8,061	460	84,012

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	9.8	10.0	100.0%	0		38.03s	23,561	5,260	1,588
Kimi K3	10.0	10.0	100.0%	0		223.03s	12,792	399	20,460

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	7.1	5.6	83.3%	1		12.29s	10,503	481	312
Kimi K3	7.3	5.8	83.3%	1		16.72s	7,839	354	2,606

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	5.3	10.0	33.3%	0		14.59s	975	7,477	900
Kimi K3	5.9	7.2	55.6%	1		490.14s	794	80	83,180

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		2.46s	708	237	0
Kimi K3	10.0	10.0	100.0%	0		14.91s	732	191	871

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		3.32s	909	373	320
Kimi K3	10.0	10.0	100.0%	0		7.66s	1,179	147	1,119

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		3.95s	894	791	483
Kimi K3	10.0	10.0	100.0%	0		7.36s	1,416	495	1,368

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		8.96s	11,775	301	225
Kimi K3	3.0	10.0	0.0%	0		0ms	0	0	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	3.0	10.0	0.0%	0		6.14s	258	451	214
Kimi K3	3.0	10.0	0.0%	0		19.67s	465	288	1,284

Perbandingan Cepat

Ganti Pasangan Perbandingan

Kimi K3maxvsGPT-5 Minimedium Kimi K3maxvsGLM 5medium Kimi K3maxvsGPT-5.4medium Seed-2.0-LitemediumvsKimi K3max Kimi K3maxvsGPT-5.2 Chatnone Kimi K3maxvsStep 3.7 Flashmedium Claude Opus 4.8mediumvsMuse Spark 1.1low Kimi K3maxvsGLM 5.2medium Kimi K3maxvsGPT-5.2medium Claude Opus 4.7mediumvsKimi K3max Kimi K3maxvsGrok 4.5medium Muse Spark 1.1lowvsKimi K3max