Orodha ya kushindwa kwa Hakufuata maelekezo

Ona ni modeli gani za AI hukutana na Hakufuata maelekezo mara nyingi zaidi ili utambue hatari za utegemevu kabla ya kuchagua.

Modeli zilizoonyeshwa

Jumla ya kushindwa

523

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 5

Kategoria

Katika kategoria Utatuzi wa mafumbo167 Katika kategoria Akili ya jumla142 Katika kategoria Ufuataji wa maagizo77 Katika kategoria Mbinu za kupinga AI52 Katika kategoria Uandishi wa msimbo50 Katika kategoria Mwito wa zana13 Katika kategoria Kazi za mawakala10 Katika kategoria Uchanganuzi na uchimbaji wa data8 Katika kategoria Mahususi kwa domeni3 Katika kategoria Mchanganyiko1

294/294

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#230	Claude Sonnet 5.5 medium	Anthropic	3	0.7	$1.100	9/23	8.03s
Jumla ya majaribio 23 Majaribio yenye makosa 14 Jumla ya gharama $1.100 Muda wa majibu (wastani) 8.03s
#259	Minimax M3.1 Flash medium	Minimax	3	0.6	$0.000	8/23	19.5s
Jumla ya majaribio 23 Majaribio yenye makosa 15 Jumla ya gharama $0.000 Muda wa majibu (wastani) 19.5s
#261	Solar Pro 4 high	Upstage	3	0.6	$0.077	11/23	128.9s
Jumla ya majaribio 23 Majaribio yenye makosa 12 Jumla ya gharama $0.077 Muda wa majibu (wastani) 128.9s
#263	Ling 3.1 Flash low	Inclusionai	3	0.6	$0.000	12/23	85.2s
Jumla ya majaribio 23 Majaribio yenye makosa 11 Jumla ya gharama $0.000 Muda wa majibu (wastani) 85.2s
#267	Trinity Large Thinking low	Arcee AI	3	0.6	$0.918	8/23	95.2s
Jumla ya majaribio 23 Majaribio yenye makosa 15 Jumla ya gharama $0.918 Muda wa majibu (wastani) 95.2s
#275	Claude Fable 5.1 low	Anthropic	3	0.6	$3.395	11/23	11.4s
Jumla ya majaribio 23 Majaribio yenye makosa 12 Jumla ya gharama $3.395 Muda wa majibu (wastani) 11.4s
#291	Gemini 3.1 Flash Lite minimal	Google	3	0.6	$0.080	10/23	3.95s
Jumla ya majaribio 23 Majaribio yenye makosa 13 Jumla ya gharama $0.080 Muda wa majibu (wastani) 3.95s
#292	gpt-oss-120b medium	OpenAI	3	0.6	$0.030	9/23	31.6s
Jumla ya majaribio 23 Majaribio yenye makosa 14 Jumla ya gharama $0.030 Muda wa majibu (wastani) 31.6s
#306	GPT-5.4 Mini none	OpenAI	3	0.6	$0.170	6/23	3.34s
Jumla ya majaribio 23 Majaribio yenye makosa 17 Jumla ya gharama $0.170 Muda wa majibu (wastani) 3.34s
#318	Nemotron 3 Super medium	NVIDIA	3	0.6	$0.081	8/23	56.4s
Jumla ya majaribio 23 Majaribio yenye makosa 15 Jumla ya gharama $0.081 Muda wa majibu (wastani) 56.4s
#319	Kimi K2.6 none	Moonshot AI	3	0.5	$0.486	6/23	26.3s
Jumla ya majaribio 23 Majaribio yenye makosa 17 Jumla ya gharama $0.486 Muda wa majibu (wastani) 26.3s
#331	Step 3.5 Flash medium	Stepfun	3	0.5	$0.105	10/22	190.5s
Jumla ya majaribio 22 Majaribio yenye makosa 12 Jumla ya gharama $0.105 Muda wa majibu (wastani) 190.5s
#371	Nemotron 3.5 Lightning medium	NVIDIA	3	0.5	$0.195	5/23	81.9s
Jumla ya majaribio 23 Majaribio yenye makosa 18 Jumla ya gharama $0.195 Muda wa majibu (wastani) 81.9s
#375	Qwen3 Coder Next medium	Qwen	3	0.5	$0.071	3/23	17.0s
Jumla ya majaribio 23 Majaribio yenye makosa 20 Jumla ya gharama $0.071 Muda wa majibu (wastani) 17.0s
#378	Gemini 3.1 Flash Lite high	Google	3	0.5	$2.044	10/18	62.0s
Jumla ya majaribio 18 Majaribio yenye makosa 8 Jumla ya gharama $2.044 Muda wa majibu (wastani) 62.0s

Kushindwa kwa Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)