Navigasi
Advertise here

Claude Opus 4.8 vs Mercury 2.5 Preview (medium)

Skor rata-rata hampir imbang di 6.9 vs 6.8. Mercury 2.5 Preview (medium) memiliki biaya benchmark lebih rendah di $0.039 vs $2.334. Mercury 2.5 Preview (medium) lebih cepat di 6.66s vs 7.54s, dengan tingkat keberhasilan 60.9% vs 66.7%.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-11-13

Model yang Dibandingkan

Peringkat
#239
Total token output
24,343
Waktu respons (rata-rata)
7.54s
Total Biaya
$2.334
Peringkat
#243
Total token output
150,107
Waktu respons (rata-rata)
6.66s
Total Biaya
$0.039
Model yang direkomendasikan Mercury 2.5 Preview (medium)

It has the best score here (6.8), while costing about 60.8x less than Claude Opus 4.8.

Perbandingan terperinci

Metrik Claude Opus 4.8 Claude Opus 4.8 none Rilis: 2026-05-28 Mercury 2.5 Preview Mercury 2.5 Preview medium Rilis: 2026-09-02
Skor 6.9 6.8
Peringkat #239 #243
Keandalan 10.0 10.0
Konsistensi 9.3 9.6
Percobaan 69/69 69/69
Tes benar
Tingkat lulus per percobaan 60.9% 66.7%
Tes tidak stabil 2 1
Total Run 69 69
Biaya per hasil 17.953 0.244
Total Biaya $2.334 $0.039
Harga input $5.000 / 1M $0.040 / 1M
Harga output $25.000 / 1M $0.150 / 1M
Harga baca cache $0.500 / 1M T/A
Harga tulis cache $6.250 / 1M T/A
Total token input 345,059 397,291
Token output 24,343 6,355
Token penalaran 0 143,752
Waktu respons (rata-rata) 7.54s 6.66s
Waktu respons (maks) 65.07s 74.63s
Waktu respons (total) 173.31s 153.29s
Parameter ~5T total (~500B aktif) ~100B
Ketersediaan Tertutup Tertutup

Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.

Showcase generasi model

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#239 Claude Opus 4.8

none
Biaya
$0.053
Waktu
22.0s
Token
2,253 tok

#243 Mercury 2.5 Preview

medium
Biaya
$0.001
Waktu
2.7s
Token
2,241 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Pemrograman Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Claude Opus 4.8 5.5 10.0 33.3% 0 3.29s 10,590 1,332 0
Mercury 2.5 Preview 7.8 10.0 66.7% 0 3.86s 7,839 552 22,126

Ganti Pasangan Perbandingan