Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Jibu lisilo sahihi117 Hakufuata maelekezo77 Hitilafu ya API25 Muundo wa ziada8 Muda umeisha5 Hakuna jibu2

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

77/77

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#149	Mistral Large 4 high	Mistral	1	0.8	$1.391	1/2	22.0s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $1.391 Muda wa majibu (wastani) 22.0s
#156	Grok 4.7 low	X AI	1	0.8	$1.933	1/2	6.19s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $1.933 Muda wa majibu (wastani) 6.19s
#162	Claude Fable 5.1 medium	Anthropic	1	0.7	$3.197	1/2	5.77s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $3.197 Muda wa majibu (wastani) 5.77s
#163	Grok 4.7 medium	X AI	1	0.8	$2.938	1/2	6.68s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $2.938 Muda wa majibu (wastani) 6.68s
#182	MiMo-V2.6-Flash low	Xiaomi	1	0.8	$0.200	1/2	955ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.200 Muda wa majibu (wastani) 955ms
#193	Muse Glimmer 30B low	Meta	1	0.8	$0.219	1/2	3.60s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.219 Muda wa majibu (wastani) 3.60s
#194	Minimax M3.1 Flash max	Minimax	1	0.5	$0.000	0/2	1.73s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.73s
#198	GPT-5.6 Luna low	OpenAI	1	0.8	$0.049	1/2	2.04s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.049 Muda wa majibu (wastani) 2.04s
#199	Claude Sonnet 5.5 low	Anthropic	1	0.6	$0.909	1/2	1.91s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.909 Muda wa majibu (wastani) 1.91s
#206	Space Bunny Alpha max	Stealth	1	0.6	$0.000	0/2	3.78s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.78s
#207	Solar Pro 4 xhigh	Upstage	1	0.8	$0.067	1/2	51.3s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.067 Muda wa majibu (wastani) 51.3s
#211	Solar Pro 4 low	Upstage	1	0.8	$0.101	1/2	56.4s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.101 Muda wa majibu (wastani) 56.4s
#212	Grok 4.7 high	X AI	1	0.8	$3.037	1/2	14.1s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $3.037 Muda wa majibu (wastani) 14.1s
#216	GPT-5.6 Sol none	OpenAI	1	0.9	$0.795	1/2	1.33s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.795 Muda wa majibu (wastani) 1.33s
#217	Apodex 1.1 Mini high	Apodex	1	0.8	$0.000	1/2	8.10s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 8.10s

←

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa