Orodha ya Mwito wa zana x Hakufuata maelekezo

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Mwito wa zana, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

GPT-5.4 Mini 1

Sababu za kushindwa

Hakufuata maelekezo6 Hitilafu ya API6 Mwito wa zana si sahihi3 Hakuna jibu2 Jibu lisilo sahihi2

Kategoria

Utatuzi wa mafumbo75 Akili ya jumla58 Ufuataji wa maagizo22 Mbinu za kupinga AI17 Mwito wa zana6 Uandishi wa msimbo2

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#86	GPT-5.4 Mini none	OpenAI	1	3.0	0/1	2.32s
#44	GPT-5.4 Mini medium	OpenAI	1	4.7	0/1	9.62s
#80	MiniMax M2.7 medium	Minimax	1	4.7	0/1	12.0s
#25	Grok 4.20 Beta medium	X AI	1	3.0	0/1	12.4s
#47	Grok 4.20 medium	X AI	1	3.0	0/1	13.7s
#88	Nemotron 3 Super none	NVIDIA	1	4.7	0/1	16.0s

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mwito wa zana: Hakufuata maelekezo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa