Peringkat Pemrograman x Jawaban salah

Kegagalan kategori AI BENCHY

Lihat model AI mana yang paling mungkin mengalami Jawaban salah di Pemrograman, agar Anda bisa menemukan titik lemahnya lebih cepat.

Model yang ditampilkan

Total kegagalan

120

Model yang paling terdampak

Alasan kegagalan

Jawaban salah120 Tidak ada jawaban18 Tidak mengikuti instruksi16 Kedaluwarsa12 Format tambahan7 Kesalahan API6

Kategori

Spesifik domain298 Trik anti-AI235 Pemecahan teka-teki148 Pengetahuan umum127 Pemrograman120 Kepatuhan instruksi52 Gabungan51 Parsing dan ekstraksi data32 Kecerdasan umum27 Pemanggilan alat2

Peringkat	Model	Perusahaan	Jumlah Jawaban salah	Skor kategori	Tes benar	Waktu respons (rata-rata)
#25	Qwen3.5-27B medium	Qwen	1	7.0	1/2	123.9s
#26	Qwen3.7 Max none	Qwen	1	6.8	1/2	1.39s
#27	GPT-5.4 medium	OpenAI	1	8.2	1/2	55.0s
#33	Qwen3.6 Plus medium	Qwen	1	4.1	0/2	201.7s
#34	Gemini 3.1 Flash Lite Preview medium	Google	1	6.8	1/2	3.98s
#35	Gemini 3.1 Flash Lite medium	Google	1	6.8	1/2	3.59s
#36	Gemini 2.5 Flash medium	Google	1	6.6	1/2	54.6s
#38	Qwen3.5-122B-A10B medium	Qwen	1	4.1	0/2	119.6s
#39	Gemini 3 Flash Preview none	Google	1	6.8	1/2	2.19s
#41	Gemini 3.1 Flash Lite Preview low	Google	1	6.8	1/2	1.56s
#42	Qwen3.5 Plus 2026-04-20 medium	Qwen	1	5.4	1/2	137.5s
#43	GPT-5.2 Chat none	OpenAI	1	8.2	1/2	8.05s
#44	MiMo-V2-Pro medium	Xiaomi	1	7.5	1/2	94.2s
#45	Grok Build 0.1 medium	X AI	1	5.3	0/2	67.4s
#49	Gemini 3.1 Flash Lite Preview none	Google	1	6.8	1/2	1.06s

←

1 2 3 4 5 6 7

→

Model teratas menurut Jumlah Jawaban salah