Peringkat Pemrograman x Jawaban salah

Kegagalan kategori AI BENCHY

Lihat model AI mana yang paling mungkin mengalami Jawaban salah di Pemrograman, agar Anda bisa menemukan titik lemahnya lebih cepat.

Model yang ditampilkan

Total kegagalan

230

Model yang paling terdampak

Qwen3.6 Flash 3

Alasan kegagalan

Jawaban salah230 Kesalahan API43 Kedaluwarsa25 Tidak ada jawaban18 Tidak mengikuti instruksi16 Format tambahan12

Kategori

Spesifik domain368 Trik anti-AI270 Pemrograman230 Pemecahan teka-teki173 Pengetahuan umum150 Gabungan58 Kepatuhan instruksi56 Kecerdasan umum49 Parsing dan ekstraksi data36 Pemanggilan alat3

134/134

Peringkat	Model	Perusahaan	Jumlah Jawaban salah	Skor kategori	Total Biaya	Tes benar	Waktu respons (rata-rata)
#98	Gemini 3.1 Flash Lite Preview none	Google	2	5.5	$0.018	1/3	967ms
Total Tes 3 Tes Salah 2 Total Biaya $0.018 Waktu respons (rata-rata) 967ms
#99	Gemini 3.1 Flash Lite low	Google	2	5.5	$0.028	1/3	1.53s
Total Tes 3 Tes Salah 2 Total Biaya $0.028 Waktu respons (rata-rata) 1.53s
#102	GPT-5.6 Sol none	OpenAI	2	5.5	$0.225	1/3	1.39s
Total Tes 3 Tes Salah 2 Total Biaya $0.225 Waktu respons (rata-rata) 1.39s
#105	GPT-5.5 none	OpenAI	2	5.5	$0.231	1/3	1.35s
Total Tes 3 Tes Salah 2 Total Biaya $0.231 Waktu respons (rata-rata) 1.35s
#107	Seed-2.0-Lite none	Bytedance Seed	2	5.6	$0.019	1/3	2.83s
Total Tes 3 Tes Salah 2 Total Biaya $0.019 Waktu respons (rata-rata) 2.83s
#108	GPT-5.6 Luna low	OpenAI	2	5.5	$0.141	1/3	4.61s
Total Tes 3 Tes Salah 2 Total Biaya $0.141 Waktu respons (rata-rata) 4.61s
#109	Gemini 2.5 Flash none	Google	2	5.5	$0.016	1/3	736ms
Total Tes 3 Tes Salah 2 Total Biaya $0.016 Waktu respons (rata-rata) 736ms
#110	Gemini 3.1 Flash Lite minimal	Google	2	5.5	$0.013	1/3	831ms
Total Tes 3 Tes Salah 2 Total Biaya $0.013 Waktu respons (rata-rata) 831ms
#112	Gemini 3.1 Flash Lite none	Google	2	5.5	$0.013	1/3	938ms
Total Tes 3 Tes Salah 2 Total Biaya $0.013 Waktu respons (rata-rata) 938ms
#113	Qwen3.5-Flash none	Qwen	2	5.5	$0.005	1/3	850ms
Total Tes 3 Tes Salah 2 Total Biaya $0.005 Waktu respons (rata-rata) 850ms
#114	Gemma 4 31B none	Google	2	5.5	$0.004	1/3	11.2s
Total Tes 3 Tes Salah 2 Total Biaya $0.004 Waktu respons (rata-rata) 11.2s
#115	Nemotron 3 Ultra 550b A55b none	NVIDIA	2	5.5	$0.027	1/3	1.02s
Total Tes 3 Tes Salah 2 Total Biaya $0.027 Waktu respons (rata-rata) 1.02s
#117	GPT-5.6 Terra none	OpenAI	2	5.5	$0.130	1/3	1.00s
Total Tes 3 Tes Salah 2 Total Biaya $0.130 Waktu respons (rata-rata) 1.00s
#119	Qwen3.6 Flash none	Qwen	2	5.4	$0.015	1/3	1.79s
Total Tes 3 Tes Salah 2 Total Biaya $0.015 Waktu respons (rata-rata) 1.79s
#120	Qwen3.5-35B-A3B none	Qwen	2	5.5	$0.012	1/3	1.39s
Total Tes 3 Tes Salah 2 Total Biaya $0.012 Waktu respons (rata-rata) 1.39s

←

1 3 4 5 9

→

Filter model

Model teratas menurut Jumlah Jawaban salah

Jumlah Jawaban salah vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang

Pemrograman: Jawaban salah

Filter model

Model teratas menurut Jumlah Jawaban salah

Jumlah Jawaban salah vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang