Navigasi
Advertise here

Mercury 2 (medium) vs GPT 5.3 Chat (default)

GPT 5.3 Chat (default) unggul dalam skor rata-rata dengan 6.7 vs 6.6. Mercury 2 (medium) memiliki biaya benchmark lebih rendah di $0.121 vs $0.533. Mercury 2 (medium) lebih cepat di 4.40s vs 6.31s, dengan tingkat keberhasilan 53.6% vs 62.3%.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-15

Model yang Dibandingkan

Peringkat
#212
Total token output
96,943
Waktu respons (rata-rata)
4.40s
Total Biaya
$0.121
Peringkat
#204
Total token output
28,179
Waktu respons (rata-rata)
6.31s
Total Biaya
$0.533
Model yang direkomendasikan Mercury 2 (medium)

Its score stays close to the best score here (6.6 vs 6.7), while costing about 4.4x less than GPT 5.3 Chat (default).

Perbandingan terperinci

Metrik Mercury 2 Mercury 2 medium Rilis: 2026-02-24 GPT 5.3 Chat GPT 5.3 Chat default Rilis: 2026-03-03
Skor 6.6 6.7
Peringkat #212 #204
Keandalan 10.0 10.0
Konsistensi 8.1 8.6
Percobaan 69/69 69/69
Tes benar
Tingkat lulus per percobaan 53.6% 62.3%
Tes tidak stabil 5 4
Total Run 69 69
Biaya per hasil 1.201 4.097
Total Biaya $0.121 $0.533
Harga input $0.250 / 1M $1.750 / 1M
Harga output $0.750 / 1M $14.000 / 1M
Harga baca cache $0.025 / 1M T/A
Harga tulis cache T/A T/A
Total token input 189,300 78,846
Token output 10,854 7,635
Token penalaran 86,089 20,544
Waktu respons (rata-rata) 4.40s 6.31s
Waktu respons (maks) 34.92s 18.33s
Waktu respons (total) 96.81s 138.73s
Parameter ~100B ~400B total (~17B aktif)
Ketersediaan Tertutup Tertutup

Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.

Showcase generasi model

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#212 Mercury 2

medium
Biaya
$0.002
Waktu
2.1s
Token
1,702 tok

#204 GPT 5.3 Chat

default
Biaya
$0.008
Waktu
8.1s
Token
634 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Pemrograman Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
GPT 5.3 Chat 5.6 4.7 55.6% 2 10.52s 7,302 808 5,824

Ganti Pasangan Perbandingan