AI BENCHY
Advertise here
#59

Mercury 2

Inception Rilis: 2026-02-24 Diuji pada: 2026-04-11 01:44 inception/mercury-2::medium
(medium) (none)

Ringkasan

Mercury 2 mendapat skor 6.5 di AI BENCHY dan berada di peringkat #59. Model ini memiliki reliabilitas T/A, tingkat keberhasilan 53.7%, total biaya $0.047, dan waktu respons rata-rata 2.21s.

Yang membuat Mercury 2 unik: Model ini paling menonjol di Pemrograman, dengan peringkat #1, sementara Pemecahan teka-teki adalah area terlemahnya di #18. Total biaya benchmark-nya sangat rendah untuk kisaran skornya. Model ini terasa cepat dibandingkan model serupa.

Skor

6.5

Konsistensi

8.6

Keandalan

T/A

Total biaya (harga saat ini)

$0.047

Total token output

52,305

Total token input

0

Harga input

$0.250 / 1M

Harga output

$0.750 / 1M

Tes benar

Tes Salah: 10

Tingkat lulus per percobaan: 53.7%

Tes tidak stabil

3

Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).

Waktu respons (rata-rata)

2.21s

Waktu respons (maks): 14.63s

Waktu respons (total): 37.51s

Jawaban salah: 6 Tidak mengikuti instruksi: 4

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#59 Mercury 2

medium
Biaya
$0.002
Waktu
2.1s
Token
1,702 tok

Riwayat run

Diuji pada Skor Keandalan Tes benar Total Biaya Bandingkan
2026-07-16 23:14 Tes baru ditambahkan 7.0 10.0 $0.093 Bandingkan
2026-06-04 14:27 Tes baru ditambahkan 6.6 10.0 $0.058 Bandingkan
2026-05-22 00:40 Uji ulang 6.3 10.0 $0.055 Bandingkan
2026-04-11 01:44 Run pertama yang tercatat 6.5 T/A $0.047 Run saat ini

Grafik

Pilih model pertama, lalu klik model kedua untuk membuka halaman berdampingan.

Total token output

Skor vs Total token output

Perbandingan Cepat

Mercury 2mediumvsDeepSeek V3.2mediumMercury 2mediumvsGrok 4.20mediumMercury 2mediumvsGemini 3.5 FlashnoneMercury 2mediumvsGLM 5.1mediumMercury 2mediumvsSeed-2.0-MinimediumMercury 2mediumvsGemini 3 Flash PreviewmediumMercury 2mediumvsGemini 3.5 FlashhighMercury 2mediumvsNemotron 3 UltramediumTersedia gratisMercury 2mediumvsGPT-5.5low

Rincian Kategori

Kategori Skor Konsistensi Tes benar
Trik anti-AI 6.9 9.9
Pemrograman 10.0 10.0
Gabungan 10.0 10.0
Parsing dan ekstraksi data 7.3 5.9
Spesifik domain 2.9 7.2
Kecerdasan umum 4.8 10.0
Kepatuhan instruksi 10.0 10.0
Pemecahan teka-teki 3.9 7.5
Pemanggilan alat 10.0 10.0

Model yang Dibandingkan