Orodha ya kushindwa kwa Hakufuata maelekezo

Ona ni modeli gani za AI hukutana na Hakufuata maelekezo mara nyingi zaidi ili utambue hatari za utegemevu kabla ya kuchagua.

Modeli zilizoonyeshwa

Jumla ya kushindwa

386

Modeli iliyoathirika zaidi

MiniMax M2.7 5

Kategoria

Katika kategoria Utatuzi wa mafumbo128 Katika kategoria Akili ya jumla115 Katika kategoria Ufuataji wa maagizo48 Katika kategoria Mbinu za kupinga AI44 Katika kategoria Uandishi wa msimbo29 Katika kategoria Mwito wa zana12 Katika kategoria Uchanganuzi na uchimbaji wa data7 Katika kategoria Mahususi kwa domeni2 Katika kategoria Mchanganyiko1

215/215

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#256	Mistral Small 4 none	Mistral	1	5.1	$0.022	5/22	1.20s
Jumla ya majaribio 22 Majaribio yenye makosa 17 Jumla ya gharama $0.022 Muda wa majibu (wastani) 1.20s
#258	Granite 4.2 8B low	IBM Granite	1	5.1	$0.012	7/22	54.4s
Jumla ya majaribio 22 Majaribio yenye makosa 15 Jumla ya gharama $0.012 Muda wa majibu (wastani) 54.4s
#259	Qwen3 Coder Next none	Qwen	1	5.1	$0.026	5/22	8.63s
Jumla ya majaribio 22 Majaribio yenye makosa 17 Jumla ya gharama $0.026 Muda wa majibu (wastani) 8.63s
#260	MiMo-V2.5 none	Xiaomi	1	5.1	$0.025	5/22	4.68s
Jumla ya majaribio 22 Majaribio yenye makosa 17 Jumla ya gharama $0.025 Muda wa majibu (wastani) 4.68s
#266	Laguna S 2.1 low	Poolside	1	5.0	$0.082	3/22	85.3s
Jumla ya majaribio 22 Majaribio yenye makosa 19 Jumla ya gharama $0.082 Muda wa majibu (wastani) 85.3s
#267	DeepSeek V3.2 none	DeepSeek	1	5.0	$0.054	6/22	17.9s
Jumla ya majaribio 22 Majaribio yenye makosa 16 Jumla ya gharama $0.054 Muda wa majibu (wastani) 17.9s
#268	GPT-4o-mini none	OpenAI	1	5.0	$0.010	5/22	1.92s
Jumla ya majaribio 22 Majaribio yenye makosa 17 Jumla ya gharama $0.010 Muda wa majibu (wastani) 1.92s
#270	Mercury 2.5 Preview none	Inception	1	4.9	$0.018	4/22	3.51s
Jumla ya majaribio 22 Majaribio yenye makosa 18 Jumla ya gharama $0.018 Muda wa majibu (wastani) 3.51s
#280	GLM 4.7 Flash none	Z.ai	1	4.8	$0.016	5/22	8.81s
Jumla ya majaribio 22 Majaribio yenye makosa 17 Jumla ya gharama $0.016 Muda wa majibu (wastani) 8.81s
#284	Laguna M.1 medium	Poolside	1	4.7	$0.033	9/19	14.7s
Jumla ya majaribio 19 Majaribio yenye makosa 10 Jumla ya gharama $0.033 Muda wa majibu (wastani) 14.7s
#286	Mercury 2 none	Inception	1	4.7	$0.030	4/22	825ms
Jumla ya majaribio 22 Majaribio yenye makosa 18 Jumla ya gharama $0.030 Muda wa majibu (wastani) 825ms
#290	Laguna S 2.1 none	Poolside	1	4.5	$0.022	2/22	11.7s
Jumla ya majaribio 22 Majaribio yenye makosa 20 Jumla ya gharama $0.022 Muda wa majibu (wastani) 11.7s
#291	Grok 4.20 Beta none	X AI	1	4.4	$0.087	6/18	1.19s
Jumla ya majaribio 18 Majaribio yenye makosa 12 Jumla ya gharama $0.087 Muda wa majibu (wastani) 1.19s
#296	Granite 4.2 8B none	IBM Granite	1	4.3	$0.026	3/22	86.3s
Jumla ya majaribio 22 Majaribio yenye makosa 19 Jumla ya gharama $0.026 Muda wa majibu (wastani) 86.3s
#304	Nemotron 3.5 Lightning none	NVIDIA	1	4.0	$0.007	3/22	1.21s
Jumla ya majaribio 22 Majaribio yenye makosa 19 Jumla ya gharama $0.007 Muda wa majibu (wastani) 1.21s

Kushindwa kwa Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)