Orodha ya Uandishi wa msimbo x Hakufuata maelekezo

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Grok 4.1 Fast 1

Sababu za kushindwa

Jibu lisilo sahihi26 Muda umeisha12 Hitilafu ya API6 Hakufuata maelekezo2

Kategoria

Utatuzi wa mafumbo68 Akili ya jumla55 Ufuataji wa maagizo22 Mbinu za kupinga AI15 Mwito wa zana6 Uandishi wa msimbo2

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#49	Grok 4.1 Fast medium	X AI	1	2.3	0/1	23.6s
#91	Qwen3.5-9B medium	Qwen	1	2.6	0/1	135.6s

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Hakufuata maelekezo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa