Orodha ya Akili ya jumla x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Akili ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

142

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Hakufuata maelekezo142 Jibu lisilo sahihi134 Hitilafu ya API17 Muda umeisha4

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

142/142

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#296	DeepSeek V4.1 Flash 1017 none	DeepSeek	1	0.5	$0.055	0/1	616ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.055 Muda wa majibu (wastani) 616ms
#298	DeepSeek V4.1 Flash none	DeepSeek	1	0.6	$0.391	0/1	1.69s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.391 Muda wa majibu (wastani) 1.69s
#300	Ring 2.6 1t medium	Inclusionai	1	0.4	$0.102	0/1	58.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.102 Muda wa majibu (wastani) 58.3s
#301	Trinity Large Thinking high	Arcee AI	1	0.6	$0.794	0/1	12.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.794 Muda wa majibu (wastani) 12.9s
#302	GPT-5 Nano medium	OpenAI	1	0.4	$0.159	0/1	17.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.159 Muda wa majibu (wastani) 17.5s
#303	GPT-5.4 Mini none	OpenAI	1	0.5	$0.170	0/1	1.82s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.170 Muda wa majibu (wastani) 1.82s
#313	Qwen3.5-35B-A3B none	Qwen	1	0.6	$0.120	0/1	1.19s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.120 Muda wa majibu (wastani) 1.19s
#314	Nemotron 3.5 Super VL none	NVIDIA	1	0.5	$0.040	0/1	489ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.040 Muda wa majibu (wastani) 489ms
#315	Nemotron 3 Super medium	NVIDIA	1	0.4	$0.081	0/1	6.91s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.081 Muda wa majibu (wastani) 6.91s
#316	Kimi K2.6 none	Moonshot AI	1	0.5	$0.486	0/1	1.55s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.486 Muda wa majibu (wastani) 1.55s
#320	Gemma 4 26B A4B none	Google	1	0.4	$0.031	0/1	3.54s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.031 Muda wa majibu (wastani) 3.54s
#328	Step 3.5 Flash medium	Stepfun	1	0.6	$0.105	0/1	22.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.105 Muda wa majibu (wastani) 22.4s
#332	Granite 4.2 8B low	IBM Granite	1	0.4	$0.036	0/1	659ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.036 Muda wa majibu (wastani) 659ms
#337	Inkling Small low	Thinkingmachines	1	0.5	$0.055	0/1	1.42s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.055 Muda wa majibu (wastani) 1.42s
#342	MiMo-V2-Flash medium	Xiaomi	1	0.4	$0.043	0/1	4.20s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.043 Muda wa majibu (wastani) 4.20s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa