Orodha ya kushindwa kwa Hakufuata maelekezo

Kushindwa kwa AI BENCHY

Ona ni modeli gani za AI hukutana na Hakufuata maelekezo mara nyingi zaidi ili utambue hatari za utegemevu kabla ya kuchagua. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

215

Modeli iliyoathirika zaidi

Mistral Small 4 1

Kategoria

Katika kategoria Utatuzi wa mafumbo78 Katika kategoria Akili ya jumla74 Katika kategoria Mbinu za kupinga AI30 Katika kategoria Uandishi wa msimbo14 Katika kategoria Ufuataji wa maagizo11 Katika kategoria Mwito wa zana6 Katika kategoria Mahususi kwa domeni1 Katika kategoria Mchanganyiko1

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama	Majaribio sahihi	Muda wa majibu (wastani)
#32	Gemini 3.5 Flash minimal	Google	1	7.7	14/21	1.57s
#128	Qwen3.6 Flash none	Qwen	1	5.4	7/21	1.60s
#157	Grok 4.1 Fast none	X AI	3	4.4	3/19	1.62s
#115	Qwen3.5-27B none	Qwen	2	5.7	7/21	1.68s
#147	GPT-4o-mini none	OpenAI	1	4.8	5/21	1.77s
#123	MiMo-V2.5-Pro none	Xiaomi	4	5.5	6/21	1.78s
#154	Qwen3.5-9B none	Qwen	2	4.6	4/21	1.89s
#143	MiMo-V2.5 none	Xiaomi	1	4.9	5/21	2.20s
#81	Mercury 2 medium	Inception	3	6.6	10/21	2.24s
#104	Nemotron 3 Ultra 550b A55b none	NVIDIA	1	6.0	8/21	2.27s
#120	Mimo V2 PRO none	Xiaomi	2	5.6	7/21	2.27s
#101	Mimo V2 Omni none	Xiaomi	1	6.0	8/21	2.44s
#152	MiMo-V2-Flash none	Xiaomi	2	4.6	4/21	2.76s
#50	Gemini 3.1 Flash Lite Preview low	Google	1	7.4	13/21	2.77s
#134	GLM 5 Turbo none	Z.ai	2	5.2	6/21	2.82s

←

1 2 3 8

→

Kushindwa kwa Hakufuata maelekezo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)