Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Muse Spark 1.3 1

Sababu za kushindwa

Jibu lisilo sahihi82 Hakufuata maelekezo48 Muundo wa ziada7 Muda umeisha5 Hakuna jibu2 Hitilafu ya API2

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

48/48

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#26	Muse Spark 1.3 high	Meta	1	6.5	$1.653	1/2	14.7s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $1.653 Muda wa majibu (wastani) 14.7s
#38	Muse Spark 1.1 medium	Meta	1	6.5	$1.420	1/2	6.31s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $1.420 Muda wa majibu (wastani) 6.31s
#51	Muse Spark 1.1 low	Meta	1	7.3	$0.673	1/2	5.42s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.673 Muda wa majibu (wastani) 5.42s
#52	Claude Fable 5.1 medium	Anthropic	1	7.3	$2.909	1/2	5.77s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $2.909 Muda wa majibu (wastani) 5.77s
#58	Muse Glimmer 30B xhigh	Meta	1	8.4	$0.510	1/2	8.90s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.510 Muda wa majibu (wastani) 8.90s
#60	Muse Spark 1.1 high	Meta	1	6.4	$2.253	1/2	7.81s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $2.253 Muda wa majibu (wastani) 7.81s
#83	DeepSeek V4 Pro high	DeepSeek	1	7.8	$0.489	1/2	8.73s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.489 Muda wa majibu (wastani) 8.73s
#87	Solar Pro 4 xhigh	Upstage	1	8.4	$0.050	1/2	51.3s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.050 Muda wa majibu (wastani) 51.3s
#118	Muse Glimmer 30B high	Meta	1	8.4	$0.430	1/2	8.62s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.430 Muda wa majibu (wastani) 8.62s
#120	Qwen3.7 Flash low	Qwen	1	8.5	$0.043	1/2	9.88s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.043 Muda wa majibu (wastani) 9.88s
#123	Muse Glimmer 30B low	Meta	1	8.4	$0.152	1/2	3.60s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.152 Muda wa majibu (wastani) 3.60s
#125	Solar Pro 4 high	Upstage	1	7.9	$0.046	1/2	41.5s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.046 Muda wa majibu (wastani) 41.5s
#127	GPT-5.6 Sol none	OpenAI	1	8.5	$0.201	1/2	1.33s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.201 Muda wa majibu (wastani) 1.33s
#137	Qwen3.7 Flash medium	Qwen	1	5.8	$0.065	0/2	9.27s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.065 Muda wa majibu (wastani) 9.27s
#143	Solar Pro 4 low	Upstage	1	8.0	$0.044	1/2	56.4s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.044 Muda wa majibu (wastani) 56.4s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa