AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs OpenAI: GPT-5.4 Nano

Ringkasan

Claude Opus 4.8 (low) unggul dalam skor rata-rata dengan 7.8 vs 7.5. GPT-5.4 Nano (medium) memiliki biaya benchmark lebih rendah di $0.138 vs $2.077. Claude Opus 4.8 (low) lebih cepat di 12.74s vs 13.24s, dengan tingkat keberhasilan 80.3% vs 65.2%.

Model yang direkomendasikanGPT-5.4 Nano (medium)Its score stays close to the best score here (7.5 vs 7.8), while costing about 15.1x less than Claude Opus 4.8 (low).

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-17

Metrik	Claude Opus 4.8 Claude Opus 4.8 low Rilis: 2026-05-28	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17

Metrik	Claude Opus 4.8 Claude Opus 4.8 low Rilis: 2026-05-28	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17
Skor	7.8	7.5
Peringkat	#39	#51
Keandalan	10.0	10.0
Konsistensi	8.9	8.5
Tes benar
Tingkat lulus per percobaan	80.3%	65.2%
Tes tidak stabil	3	4
Total Run	66	66
Biaya per hasil	12.979	1.150
Total Biaya	$2.077	$0.138
Harga input	$5.000 / 1M	$0.200 / 1M
Harga output	$25.000 / 1M	$1.250 / 1M
Total token input	156,525	82,819
Token output	43,141	7,100
Token penalaran	8,617	90,022
Waktu respons (rata-rata)	12.74s	13.24s
Waktu respons (maks)	127.97s	94.06s
Waktu respons (total)	280.29s	291.33s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#39 Claude Opus 4.8

low

Biaya: $0.031
Waktu: 14.1s
Token: 1,345 tok

#51 GPT-5.4 Nano

medium

Biaya: $0.007
Waktu: 24.6s
Token: 4,943 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
GPT-5.4 Nano	8.3	10.0	75.0%	0		4.52s	606	683	2,254

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
GPT-5.4 Nano	6.1	4.7	66.7%	2		19.12s	7,305	516	20,778

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	9.9	10.0	100.0%	0		36.87s	119,079	13,586	2,867
GPT-5.4 Nano	9.9	10.0	100.0%	0		32.24s	59,730	4,435	19,221

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
GPT-5.4 Nano	10.0	10.0	100.0%	0		2.54s	7,140	234	516

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
GPT-5.4 Nano	5.9	7.2	55.6%	1		38.18s	619	60	43,325

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
GPT-5.4 Nano	4.5	10.0	0.0%	0		4.15s	477	179	443

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
GPT-5.4 Nano	9.8	10.0	100.0%	0		1.88s	660	95	521

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
GPT-5.4 Nano	4.1	7.2	22.2%	1		3.79s	642	594	1,408

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
GPT-5.4 Nano	10.0	10.0	100.0%	0		7.71s	5,445	234	382

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
GPT-5.4 Nano	3.0	10.0	0.0%	0		4.81s	195	70	1,174

Perbandingan Cepat

Ganti Pasangan Perbandingan

Claude Opus 4.8lowvsGLM 5medium Claude Opus 4.8lowvsGPT-5.6 Lunahigh Claude Opus 4.8lowvsGPT-5.6 Terramedium GPT-5.4 NanomediumvsQwen3.7 Maxnone Claude Opus 4.8lowvsGLM 5.2medium Claude Opus 4.8lowvsQwen3.6 Plusmedium Claude Opus 4.8lowvsDeepSeek V4 Flashhigh Claude Opus 4.8lowvsDeepSeek V4 Prohigh Claude Opus 4.8lowvsQwen3.7 Plusmedium Claude Opus 4.8lowvsSeed-2.0-Litemedium DeepSeek V4 ProhighvsGPT-5.4 Nanomedium Claude Opus 4.8lowvsMiniMax M3medium