AI BENCHY
Advertise here

Kegagalan kategori AI BENCHY

Spesifik domain: Kesalahan API

Spesifik domain
Kesalahan API

Lihat model AI mana yang paling mungkin mengalami Kesalahan API di Spesifik domain, agar Anda bisa menemukan titik lemahnya lebih cepat. Urutkan berdasarkan: Waktu respons (rata-rata) ↑.

Model yang ditampilkan

6

Total kegagalan

6

Model yang paling terdampak

LFM2-24B-A2B 1

Alasan kegagalan

Jawaban salah314 Kedaluwarsa34 Format tambahan12 Kesalahan API6 Tidak ada jawaban5 Tidak mengikuti instruksi1

Kategori

Pemrograman43 Parsing dan ekstraksi data16 Pemanggilan alat15 Gabungan13 Pemecahan teka-teki13 Trik anti-AI13 Kecerdasan umum12 Pengetahuan umum12 Spesifik domain6 Kepatuhan instruksi1
Peringkat Model Perusahaan Jumlah Kesalahan API Skor kategori Tes benar Waktu respons (rata-rata)
#160 LFM2-24B-A2B none Liquid 1 5.9 1/3 287ms
#133 DeepSeek V3.2 none DeepSeek 1 2.9 0/3 4.17s
#132 Mistral Small 4 medium Mistral 1 5.3 1/3 6.11s
#156 Hy3 preview none Tencent 1 3.6 0/3 17.6s
#93 Qwen3.6 Plus Preview medium Qwen 1 3.0 0/3 22.1s
#103 DeepSeek V4 Pro high DeepSeek 1 2.9 0/3 205.7s

Model teratas menurut Jumlah Kesalahan API

Jumlah Kesalahan API vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang