Peringkat Spesifik domain x Kesalahan API

Kegagalan kategori AI BENCHY

Lihat model AI mana yang paling mungkin mengalami Kesalahan API di Spesifik domain, agar Anda bisa menemukan titik lemahnya lebih cepat. Urutkan berdasarkan: Waktu respons (rata-rata) ↓.

Model yang ditampilkan

Total kegagalan

Model yang paling terdampak

Mistral Small 4 1

Alasan kegagalan

Jawaban salah182 Kedaluwarsa31 Format tambahan8 Kesalahan API2 Tidak ada jawaban2

Kategori

Parsing dan ekstraksi data6 Pemanggilan alat6 Pemrograman6 Gabungan5 Spesifik domain2 Kepatuhan instruksi1 Pemecahan teka-teki1

Peringkat	Model	Perusahaan	Jumlah Kesalahan API	Skor kategori	Tes benar	Waktu respons (rata-rata)
#73	Mistral Small 4 medium	Mistral	1	5.3	1/3	6.11s
#98	LFM2-24B-A2B none	Liquid	1	5.9	1/3	287ms

Model teratas menurut Jumlah Kesalahan API

Jumlah Kesalahan API vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang

Spesifik domain: Kesalahan API

Model teratas menurut Jumlah Kesalahan API

Jumlah Kesalahan API vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang