Orodha ya Mahususi kwa domeni x Hakufuata maelekezo

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Mahususi kwa domeni, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Grok Build 0.1 1

Sababu za kushindwa

Jibu lisilo sahihi298 Muda umeisha31 Muundo wa ziada12 Hakuna jibu4 Hitilafu ya API3 Hakufuata maelekezo1

Kategoria

Utatuzi wa mafumbo84 Akili ya jumla74 Mbinu za kupinga AI29 Uandishi wa msimbo16 Ufuataji wa maagizo14 Mwito wa zana6 Mahususi kwa domeni1 Mchanganyiko1

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#82	Grok Build 0.1 none	X AI	1	3.6	0/3	103.7s

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Hakufuata maelekezo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa