Orodha ya Mchanganyiko x Hakufuata maelekezo

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Mchanganyiko, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

MiMo-V2.5-Pro 1

Sababu za kushindwa

Jibu lisilo sahihi41 Mwito wa zana si sahihi12 Hitilafu ya API5 Muda umeisha2 Hakufuata maelekezo1 Hakuna jibu1

Kategoria

Utatuzi wa mafumbo98 Akili ya jumla65 Ufuataji wa maagizo23 Mbinu za kupinga AI19 Mwito wa zana6 Uandishi wa msimbo3 Mchanganyiko1

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#81	MiMo-V2.5-Pro none	Xiaomi	1	3.0	0/1	3.54s

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mchanganyiko: Hakufuata maelekezo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa