Peringkat Pemrograman x Kedaluwarsa

Kegagalan kategori AI BENCHY

Lihat model AI mana yang paling mungkin mengalami Kedaluwarsa di Pemrograman, agar Anda bisa menemukan titik lemahnya lebih cepat.

Model yang ditampilkan

Total kegagalan

Model yang paling terdampak

Alasan kegagalan

Jawaban salah230 Kesalahan API43 Kedaluwarsa25 Tidak ada jawaban18 Tidak mengikuti instruksi16 Format tambahan12

Kategori

Spesifik domain37 Pemrograman25 Pemecahan teka-teki5 Kecerdasan umum4 Trik anti-AI4 Gabungan2 Kepatuhan instruksi1 Parsing dan ekstraksi data1

22/22

Peringkat	Model	Perusahaan	Jumlah Kedaluwarsa	Skor kategori	Total Biaya	Tes benar	Waktu respons (rata-rata)
#84	Qwen3.5-Flash medium	Qwen	1	3.7	$0.080	0/3	58.9s
Total Tes 3 Tes Salah 3 Total Biaya $0.080 Waktu respons (rata-rata) 58.9s
#94	Step 3.5 Flash medium	Stepfun	1	2.4	$0.070	0/2	258.4s
Total Tes 2 Tes Salah 2 Total Biaya $0.070 Waktu respons (rata-rata) 258.4s
#104	Qwen3.5-35B-A3B medium	Qwen	1	5.9	$0.401	1/3	206.6s
Total Tes 3 Tes Salah 2 Total Biaya $0.401 Waktu respons (rata-rata) 206.6s
#139	Gemma 4 26B A4B none	Google	1	3.7	$0.004	0/3	4.16s
Total Tes 3 Tes Salah 3 Total Biaya $0.004 Waktu respons (rata-rata) 4.16s
#166	MiniMax M2.5 medium	Minimax	1	3.4	$0.303	0/3	188.6s
Total Tes 3 Tes Salah 3 Total Biaya $0.303 Waktu respons (rata-rata) 188.6s
#168	Qwen3 Coder Next medium	Qwen	1	3.7	$0.008	0/3	924ms
Total Tes 3 Tes Salah 3 Total Biaya $0.008 Waktu respons (rata-rata) 924ms
#185	Qwen3.5-9B medium	Qwen	1	2.9	$0.036	0/3	100.9s
Total Tes 3 Tes Salah 3 Total Biaya $0.036 Waktu respons (rata-rata) 100.9s

Filter model