Peringkat Spesifik domain x Kesalahan API

Kegagalan kategori AI BENCHY

Lihat model AI mana yang paling mungkin mengalami Kesalahan API di Spesifik domain, agar Anda bisa menemukan titik lemahnya lebih cepat.

Model yang ditampilkan

Total kegagalan

Model yang paling terdampak

Alasan kegagalan

Jawaban salah314 Kedaluwarsa34 Format tambahan12 Kesalahan API6 Tidak ada jawaban5 Tidak mengikuti instruksi1

Kategori

Pemrograman43 Parsing dan ekstraksi data16 Pemanggilan alat15 Gabungan13 Pemecahan teka-teki13 Trik anti-AI13 Kecerdasan umum12 Pengetahuan umum12 Spesifik domain6 Kepatuhan instruksi1

Peringkat	Model	Perusahaan	Jumlah Kesalahan API	Skor kategori	Tes benar	Waktu respons (rata-rata)
#93	Qwen3.6 Plus Preview medium	Qwen	1	3.0	0/3	22.1s
#103	DeepSeek V4 Pro high	DeepSeek	1	2.9	0/3	205.7s
#132	Mistral Small 4 medium	Mistral	1	5.3	1/3	6.11s
#133	DeepSeek V3.2 none	DeepSeek	1	2.9	0/3	4.17s
#156	Hy3 preview none	Tencent	1	3.6	0/3	17.6s
#160	LFM2-24B-A2B none	Liquid	1	5.9	1/3	287ms

Model teratas menurut Jumlah Kesalahan API