Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Muse Spark 1.3 1

Sababu za kushindwa

Jibu lisilo sahihi82 Hakufuata maelekezo48 Muundo wa ziada7 Muda umeisha5 Hakuna jibu2 Hitilafu ya API2

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

48/48

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#240	Laguna S 2.1 high	Poolside	1	4.6	$0.114	0/2	453ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.114 Muda wa majibu (wastani) 453ms
#247	Dots 3 Note Preview none	Dots Studio	1	4.8	$0.000	0/2	1.06s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.06s
#250	Nemotron 3.5 Lightning medium	NVIDIA	1	8.5	$0.156	1/2	3.75s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.156 Muda wa majibu (wastani) 3.75s
#259	MiniMax M2.7 medium	Minimax	1	3.8	$0.208	0/2	12.8s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.208 Muda wa majibu (wastani) 12.8s
#261	Laguna S 2.1 low	Poolside	1	4.3	$0.082	0/2	423ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.082 Muda wa majibu (wastani) 423ms
#270	Nemotron 3.5 Lightning low	NVIDIA	1	8.4	$0.140	1/2	5.46s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.140 Muda wa majibu (wastani) 5.46s
#276	Trinity Large Preview none	Arcee AI	1	3.5	$0.008	0/2	822ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 822ms
#278	Grok 4.1 Fast medium	X AI	1	6.5	$0.069	1/2	4.63s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.069 Muda wa majibu (wastani) 4.63s
#284	MiniMax M2.5 medium	Minimax	1	7.5	$0.327	1/2	621ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.327 Muda wa majibu (wastani) 621ms
#285	Laguna S 2.1 none	Poolside	1	4.3	$0.022	0/2	566ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.022 Muda wa majibu (wastani) 566ms
#297	Ling 3.0 Tiny none	Inclusionai	1	3.1	$0.000	0/2	2.44s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 2.44s
#298	Granite 4.1 8B none	IBM Granite	1	3.6	$0.007	0/2	344ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.007 Muda wa majibu (wastani) 344ms
#301	Ling 3.0 Tiny high	Inclusionai	1	6.8	$0.000	1/2	3.10s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.10s
#302	Ling 3.0 Tiny low	Inclusionai	1	6.6	$0.000	1/2	3.09s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.09s
#303	Grok 4.1 Fast none	X AI	1	3.0	$0.008	0/2	685ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 685ms

←

1 2 3 4

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa