Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Granite 4.1 8B 1

Sababu za kushindwa

Jibu lisilo sahihi53 Hakufuata maelekezo11 Hakuna jibu2 Muundo wa ziada2 Hitilafu ya API1

Kategoria

Utatuzi wa mafumbo78 Akili ya jumla74 Mbinu za kupinga AI30 Uandishi wa msimbo14 Ufuataji wa maagizo11 Mwito wa zana6 Mahususi kwa domeni1 Mchanganyiko1

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#163	Granite 4.1 8B none	IBM Granite	1	3.6	0/2	344ms
#162	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	1	4.8	0/2	541ms
#129	MiniMax M2.5 medium	Minimax	1	7.5	1/2	621ms
#157	Grok 4.1 Fast none	X AI	1	3.0	0/2	685ms
#151	Trinity Large Preview none	Arcee AI	1	3.5	0/2	822ms
#149	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	7.3	1/2	1.37s
#86	Grok 4.1 Fast medium	X AI	1	6.5	1/2	4.63s
#62	Step 3.5 Flash medium	Stepfun	1	8.3	1/2	4.78s
#80	Mimo V2 Omni medium	Xiaomi	1	8.3	1/2	4.99s
#105	Nemotron 3 Super medium	NVIDIA	1	7.3	1/2	6.97s
#130	MiniMax M2.7 medium	Minimax	1	3.8	0/2	12.8s

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Hakufuata maelekezo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa