Navigasi
Advertise here

Mercury 2.5 (medium) vs Beam 1.0 501B A23B (max)

Skor rata-rata hampir imbang di 6.4 vs 6.4. Mercury 2.5 (medium) memiliki biaya benchmark lebih rendah di $0.034 vs $0.799. Mercury 2.5 (medium) lebih cepat di 7.74s vs 11.10s, dengan tingkat keberhasilan 63.8% vs 56.5%.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17

Model yang Dibandingkan

Peringkat
#239
Total token output
138,946
Waktu respons (rata-rata)
7.74s
Total Biaya
$0.034
Peringkat
#234
Total token output
199,769
Waktu respons (rata-rata)
11.10s
Total Biaya
$0.799
Model yang direkomendasikan Mercury 2.5 (medium)

It has the best score here (6.4), while costing about 23.8x less than Beam 1.0 501B A23B (max).

Perbandingan terperinci

Metrik Mercury 2.5 Mercury 2.5 medium Rilis: 2026-09-08 Beam 1.0 501B A23B Beam 1.0 501B A23B max Rilis: 2026-10-17
Skor 6.4 6.4
Peringkat #239 #234
Keandalan 9.7 10.0
Konsistensi 8.3 9.4
Percobaan 69/69 69/69
Tes benar
Tingkat lulus per percobaan 63.8% 56.5%
Tes tidak stabil 5 2
Total Run 69 69
Biaya per hasil 0.280 6.654
Total Biaya $0.034 $0.799
Harga input $0.040 / 1M $1.000 / 1M
Harga output $0.150 / 1M $3.000 / 1M
Harga baca cache $0.004 / 1M $0.100 / 1M
Harga tulis cache T/A T/A
Total token input 317,982 199,105
Token output 3,918 4,274
Token penalaran 135,028 195,495
Waktu respons (rata-rata) 7.74s 11.10s
Waktu respons (maks) 107.89s 54.48s
Waktu respons (total) 178.07s 255.26s
Parameter ~100B 501B total (23B aktif)
Ketersediaan Tertutup Sumber terbuka

Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.

Showcase generasi model

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#239 Mercury 2.5

medium
Biaya
$0.001
Waktu
3.8s
Token
3,386 tok

#234 Beam 1.0 501B A23B

max
Biaya
$0.010
Waktu
21.4s
Token
7,699 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Pemrograman Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Mercury 2.5 5.0 5.1 44.5% 2 3.70s 7,807 488 21,857
Beam 1.0 501B A23B 10.0 10.0 100.0% 0 17.15s 7,800 467 39,895

Ganti Pasangan Perbandingan