Peringkat Pemecahan teka-teki x Tidak mengikuti instruksi

Lihat model AI mana yang paling mungkin mengalami Tidak mengikuti instruksi di Pemecahan teka-teki, agar Anda bisa menemukan titik lemahnya lebih cepat.

Model yang ditampilkan

Total kegagalan

166

Model yang paling terdampak

Minimax M3.1 Flash 2

Alasan kegagalan

Jawaban salah352 Tidak mengikuti instruksi166 Kesalahan API35 Format tambahan16 Tidak ada jawaban14 Kedaluwarsa11

Kategori

Pemecahan teka-teki166 Kecerdasan umum142 Kepatuhan instruksi77 Trik anti-AI52 Pemrograman50 Pemanggilan alat13 Tugas agen10 Parsing dan ekstraksi data8 Spesifik domain3 Gabungan1

157/157

Peringkat	Model	Perusahaan	Jumlah Tidak mengikuti instruksi	Skor kategori	Total Biaya	Tes benar	Waktu respons (rata-rata)
#422	Grok Build 0.1 none	X AI	1	0.6	$0.547	1/3	9.55s
Total Tes 3 Tes Salah 2 Total Biaya $0.547 Waktu respons (rata-rata) 9.55s
#430	d1-ultra default	Liquid	1	0.2	$0.003	0/1	485ms
Total Tes 1 Tes Salah 1 Total Biaya $0.003 Waktu respons (rata-rata) 485ms
#431	Nemotron 3 Nano Omni 30b A3b Reasoning default	NVIDIA	1	0.3	$0.000	0/3	532ms
Total Tes 3 Tes Salah 3 Total Biaya $0.000 Waktu respons (rata-rata) 532ms
#433	Decider V1.2 default	Perplexity	1	0.2	$0.001	0/1	490ms
Total Tes 1 Tes Salah 1 Total Biaya $0.001 Waktu respons (rata-rata) 490ms
#436	GPT-6 Luna Decisions default	OpenAI	1	0.2	$0.005	0/1	414ms
Total Tes 1 Tes Salah 1 Total Biaya $0.005 Waktu respons (rata-rata) 414ms
#438	Jev 1.14 default	Typesafe	1	0.2	$0.003	0/1	270ms
Total Tes 1 Tes Salah 1 Total Biaya $0.003 Waktu respons (rata-rata) 270ms
#450	Nimble v3 9B default	Bespoke Labs	1	0.2	~$0.001	0/1	79ms
Total Tes 1 Tes Salah 1 Total Biaya ~$0.001 Waktu respons (rata-rata) 79ms

Filter model

Model teratas menurut Jumlah Tidak mengikuti instruksi

Jumlah Tidak mengikuti instruksi vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuang

Pemecahan teka-teki: Tidak mengikuti instruksi

Filter model

Model teratas menurut Jumlah Tidak mengikuti instruksi

Jumlah Tidak mengikuti instruksi vs Skor

Model teratas menurut Waktu respons (rata-rata)

Model teratas menurut Perkiraan biaya terbuangPerkiraan hanya mencakup listrik GPU. Komponen komputer lain dan biaya kepemilikan perangkat keras tidak termasuk. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.

Model teratas menurut Perkiraan biaya terbuang