Orodha ya kushindwa kwa Hakufuata maelekezo

Ona ni modeli gani za AI hukutana na Hakufuata maelekezo mara nyingi zaidi ili utambue hatari za utegemevu kabla ya kuchagua.

Modeli zilizoonyeshwa

Jumla ya kushindwa

523

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 5

Kategoria

Katika kategoria Utatuzi wa mafumbo167 Katika kategoria Akili ya jumla142 Katika kategoria Ufuataji wa maagizo77 Katika kategoria Mbinu za kupinga AI52 Katika kategoria Uandishi wa msimbo50 Katika kategoria Mwito wa zana13 Katika kategoria Kazi za mawakala10 Katika kategoria Uchanganuzi na uchimbaji wa data8 Katika kategoria Mahususi kwa domeni3 Katika kategoria Mchanganyiko1

294/294

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#360	Qwen3 Coder Next default	Qwen	1	0.5	$0.067	5/23	19.7s
Jumla ya majaribio 23 Majaribio yenye makosa 18 Jumla ya gharama $0.067 Muda wa majibu (wastani) 19.7s
#361	Laguna S 2.1 high	Poolside	1	0.5	$0.145	4/23	113.6s
Jumla ya majaribio 23 Majaribio yenye makosa 19 Jumla ya gharama $0.145 Muda wa majibu (wastani) 113.6s
#364	MiMo-V2.5 none	Xiaomi	1	0.5	$0.049	5/23	9.88s
Jumla ya majaribio 23 Majaribio yenye makosa 18 Jumla ya gharama $0.049 Muda wa majibu (wastani) 9.88s
#369	GLM 4.7 Flash none	Z.ai	1	0.5	$0.027	5/23	13.0s
Jumla ya majaribio 23 Majaribio yenye makosa 18 Jumla ya gharama $0.027 Muda wa majibu (wastani) 13.0s
#370	Mercury 2.5 Preview default	Inception	1	0.5	$0.023	4/23	7.05s
Jumla ya majaribio 23 Majaribio yenye makosa 19 Jumla ya gharama $0.023 Muda wa majibu (wastani) 7.05s
#376	DeepSeek V3.2 none	DeepSeek	1	0.5	$0.119	6/23	22.4s
Jumla ya majaribio 23 Majaribio yenye makosa 17 Jumla ya gharama $0.119 Muda wa majibu (wastani) 22.4s
#388	Mimo V2 Omni default	Xiaomi	1	0.4	$0.021	8/21	2.44s
Jumla ya majaribio 21 Majaribio yenye makosa 13 Jumla ya gharama $0.021 Muda wa majibu (wastani) 2.44s
#392	Granite 4.2 8B none	IBM Granite	1	0.4	$0.037	3/23	84.7s
Jumla ya majaribio 23 Majaribio yenye makosa 20 Jumla ya gharama $0.037 Muda wa majibu (wastani) 84.7s
#395	Gemini 3.1 Flash Lite Preview high	Google	1	0.4	$2.310	13/16	68.1s
Jumla ya majaribio 16 Majaribio yenye makosa 3 Jumla ya gharama $2.310 Muda wa majibu (wastani) 68.1s
#402	Qwen3.5-9B medium	Qwen	1	0.4	$0.106	3/23	110.2s
Jumla ya majaribio 23 Majaribio yenye makosa 20 Jumla ya gharama $0.106 Muda wa majibu (wastani) 110.2s
#406	Laguna M.1 medium	Poolside	1	0.4	$0.033	9/19	14.7s
Jumla ya majaribio 19 Majaribio yenye makosa 10 Jumla ya gharama $0.033 Muda wa majibu (wastani) 14.7s
#409	Nemotron 3.5 Lightning none	NVIDIA	1	0.4	$0.009	3/23	15.9s
Jumla ya majaribio 23 Majaribio yenye makosa 20 Jumla ya gharama $0.009 Muda wa majibu (wastani) 15.9s
#414	Grok 4.20 Beta default	X AI	1	0.4	$0.087	6/18	1.19s
Jumla ya majaribio 18 Majaribio yenye makosa 12 Jumla ya gharama $0.087 Muda wa majibu (wastani) 1.19s
#428	Laguna Xs.2 default	Poolside	1	0.3	$0.004	5/19	806ms
Jumla ya majaribio 19 Majaribio yenye makosa 14 Jumla ya gharama $0.004 Muda wa majibu (wastani) 806ms
#432	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	0.3	$0.000	4/19	17.1s
Jumla ya majaribio 19 Majaribio yenye makosa 15 Jumla ya gharama $0.000 Muda wa majibu (wastani) 17.1s

Kushindwa kwa Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)