Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi44 Hakufuata maelekezo22 Hitilafu ya API1 Muda umeisha1

Kategoria

Utatuzi wa mafumbo75 Akili ya jumla58 Ufuataji wa maagizo22 Mbinu za kupinga AI17 Mwito wa zana6 Uandishi wa msimbo2

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#80	MiniMax M2.7 medium	Minimax	1	3.7	0/2	12.6s
#82	Grok 4.20 none	X AI	1	4.8	0/2	455ms
#84	gpt-oss-120b none	OpenAI	1	8.4	1/2	5.10s
#88	Nemotron 3 Super none	NVIDIA	1	4.9	0/2	1.50s
#89	GPT-4o-mini none	OpenAI	1	4.8	0/2	1.27s
#92	Qwen3 Coder Next medium	Qwen	1	4.8	0/2	7.34s
#96	GPT-5.4 Nano none	OpenAI	1	5.0	0/2	787ms

Modeli bora kwa Idadi ya Hakufuata maelekezo