Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Jibu lisilo sahihi117 Hakufuata maelekezo77 Hitilafu ya API25 Muundo wa ziada8 Muda umeisha5 Hakuna jibu2

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

77/77

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#221	Qwen3.7 Flash medium	Qwen	1	0.6	$0.076	0/2	9.27s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.076 Muda wa majibu (wastani) 9.27s
#228	Minimax M3.1 Flash high	Minimax	1	0.5	$0.000	0/2	1.65s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.65s
#240	Beam 1.0 501B A23B max	Reflection	1	0.8	$0.799	1/2	866ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.799 Muda wa majibu (wastani) 866ms
#243	Minimax M3.1 Flash xhigh	Minimax	1	0.5	$0.000	0/2	1.72s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.72s
#245	Beam 1.0 501B A23B low	Reflection	1	0.8	$0.432	1/2	1.14s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.432 Muda wa majibu (wastani) 1.14s
#249	Dots 3 Note Preview high	Dots Studio	1	0.8	$0.000	1/2	7.80s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 7.80s
#250	Dots 3 Note Preview low	Dots Studio	1	0.8	$0.000	1/2	7.83s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 7.83s
#256	Minimax M3.1 Flash medium	Minimax	1	0.5	$0.000	0/2	1.72s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.72s
#258	Solar Pro 4 high	Upstage	1	0.8	$0.077	1/2	41.5s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.077 Muda wa majibu (wastani) 41.5s
#264	Trinity Large Thinking low	Arcee AI	1	0.4	$0.918	0/2	4.07s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.918 Muda wa majibu (wastani) 4.07s
#267	Space Bunny Alpha xhigh	Stealth	1	0.6	$0.000	0/2	2.22s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 2.22s
#270	DeepSeek V4 Flash 0731 none	DeepSeek	1	0.5	$0.053	0/2	1.42s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.053 Muda wa majibu (wastani) 1.42s
#275	Trinity Large Thinking medium	Arcee AI	1	0.4	$0.862	0/2	3.99s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.862 Muda wa majibu (wastani) 3.99s
#282	Apodex 1.1 Mini medium	Apodex	1	0.8	$0.000	1/2	8.56s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 8.56s
#286	Inkling Small medium	Thinkingmachines	1	0.8	$0.113	1/2	3.78s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.113 Muda wa majibu (wastani) 3.78s

←

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa