Navigasi
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.5 Flash

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-04-11

Metrik Mercury 2 Mercury 2 none Rilis: 2026-02-24 Step 3.5 Flash Step 3.5 Flash none Rilis: 2026-02-01
Skor 4.8 3.0
Peringkat #85 #93
Konsistensi 9.0 10.0
Tes benar
Tingkat lulus per percobaan 27.8% 0.0%
Tes tidak stabil 2 0
Total Run 54 3
Biaya per hasil 0.165 0.000
Total Biaya $0.007 $0.000
Harga input $0.250 / 1M $0.100 / 1M
Harga output $0.750 / 1M $0.300 / 1M
Token output 1,625 0
Token penalaran 0 0
Waktu respons (rata-rata) 613ms 0ms
Waktu respons (maks) 1.27s 0ms
Waktu respons (total) 11.04s 0ms

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 3.0 10.0 0.0% 0 483ms 286 0
Step 3.5 Flash - - - - - - - -
Pemrograman Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 3.6 8.9 0.0% 0 969ms 310 0
Step 3.5 Flash 3.0 10.0 0.0% 0 0ms 0 0
Gabungan Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 3.0 10.0 0.0% 0 606ms 131 0
Step 3.5 Flash - - - - - - - -
Parsing dan ekstraksi data Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 7.3 5.9 83.3% 1 667ms 180 0
Step 3.5 Flash - - - - - - - -
Spesifik domain Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 5.3 7.2 44.4% 1 534ms 46 0
Step 3.5 Flash - - - - - - - -
Kecerdasan umum Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 4.8 10.0 0.0% 0 628ms 159 0
Step 3.5 Flash - - - - - - - -
Kepatuhan instruksi Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 6.5 10.0 50.0% 0 551ms 82 0
Step 3.5 Flash - - - - - - - -
Pemecahan teka-teki Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 3.1 10.0 0.0% 0 533ms 234 0
Step 3.5 Flash - - - - - - - -
Pemanggilan alat Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token output Token penalaran
Mercury 2 10.0 10.0 100.0% 0 1.27s 197 0
Step 3.5 Flash - - - - - - - -

Perbandingan Cepat

Ganti Pasangan Perbandingan

Mercury 2nonevsQwen3 Coder NextmediumMercury 2nonevsGLM 4.7 FlashmediumMercury 2nonevsQwen3.5-9BmediumMercury 2nonevsMiniMax M2.7mediumMercury 2nonevsMistral Small 4mediumMercury 2nonevsMiniMax M2.5mediumTersedia gratisMercury 2nonevsgpt-oss-120bmediumTersedia gratisQwen3.5-9BmediumvsStep 3.5 FlashnoneMercury 2nonevsGPT-5 NanomediumStep 3.5 FlashnonevsGLM 4.7 FlashmediumQwen3 Coder NextmediumvsStep 3.5 FlashnoneMercury 2nonevsGrok 4.1 Fastmedium