Navigasi
Advertise here

ERNIE-Light-DT-1.0 (low) vs Mercury 2.5 (medium)

Skor rata-rata hampir imbang di 6.4 vs 6.4. Mercury 2.5 (medium) memiliki biaya benchmark lebih rendah di $0.034 vs $0.489. Mercury 2.5 (medium) lebih cepat di 7.74s vs 8.91s, dengan tingkat keberhasilan 65.2% vs 63.8%.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-11-13

Model yang Dibandingkan

Peringkat
#288
Total token output
43,895
Waktu respons (rata-rata)
8.91s
Total Biaya
$0.489
Peringkat
#286
Total token output
138,946
Waktu respons (rata-rata)
7.74s
Total Biaya
$0.034
Model yang direkomendasikan Mercury 2.5 (medium)

It has the best score here (6.4), while costing about 14.6x less than ERNIE-Light-DT-1.0 (low).

Perbandingan terperinci

Metrik ERNIE-Light-DT-1.0 ERNIE-Light-DT-1.0 low Rilis: 2026-11-12 Mercury 2.5 Mercury 2.5 medium Rilis: 2026-09-08
Skor 6.4 6.4
Peringkat #288 #286
Keandalan 9.3 9.7
Konsistensi 7.0 8.3
Percobaan 69/69 69/69
Tes benar
Tingkat lulus per percobaan 65.2% 63.8%
Tes tidak stabil 9 5
Total Run 69 69
Biaya per hasil 4.441 0.280
Total Biaya $0.489 $0.034
Harga input $1.130 / 1M $0.040 / 1M
Harga output $3.941 / 1M $0.150 / 1M
Harga baca cache $0.113 / 1M $0.004 / 1M
Harga tulis cache T/A T/A
Total token input 279,234 317,982
Token output 13,328 3,918
Token penalaran 30,567 135,028
Waktu respons (rata-rata) 8.91s 7.74s
Waktu respons (maks) 96.92s 107.89s
Waktu respons (total) 204.98s 178.07s
Parameter ~320B total (~18B aktif) ~100B
Ketersediaan Tertutup Tertutup

Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.

Showcase generasi model

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#288 ERNIE-Light-DT-1.0

low
Biaya
$0.005
Waktu
7.7s
Token
1,177 tok

#286 Mercury 2.5

medium
Biaya
$0.001
Waktu
3.8s
Token
3,386 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Pemrograman Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
ERNIE-Light-DT-1.0 5.7 4.8 55.6% 2 5.33s 7,317 468 4,231
Mercury 2.5 5.0 5.1 44.5% 2 3.70s 7,807 488 21,857

Ganti Pasangan Perbandingan