AI BENCHY
Advertise here

Kegagalan kategori AI BENCHY

Pemrograman: Kesalahan API

Pemrograman
Kesalahan API

Lihat model AI mana yang paling mungkin mengalami Kesalahan API di Pemrograman, agar Anda bisa menemukan titik lemahnya lebih cepat. Urutkan berdasarkan: Tes benar ↑.

Model yang ditampilkan

6

Total kegagalan

6

Model yang paling terdampak

Gemini 3 PRO Preview 1

Alasan kegagalan

Jawaban salah120 Tidak ada jawaban18 Tidak mengikuti instruksi16 Kedaluwarsa12 Format tambahan7 Kesalahan API6

Kategori

Parsing dan ekstraksi data10 Pemanggilan alat6 Pemrograman6 Gabungan5 Spesifik domain3 Pemecahan teka-teki1
Peringkat Model Perusahaan Jumlah Kesalahan API Skor kategori Tes benar Waktu respons (rata-rata)
#19 Gemini 3 PRO Preview medium Google 1 3.0 0/2 0ms
#32 Step 3.5 Flash none Stepfun 1 3.0 0/1 0ms
#33 Qwen3.6 Plus medium Qwen 1 4.1 0/2 201.7s
#75 Hunter Alpha medium OpenRouter 1 3.0 0/1 0ms
#96 Nemotron 3 Super medium NVIDIA 1 3.1 0/2 62.4s
#108 Hunter Alpha none OpenRouter 1 3.0 0/1 0ms

Model teratas menurut Jumlah Kesalahan API

Jumlah Kesalahan API vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang