Orodha ya Akili ya jumla x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Akili ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

142

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Hakufuata maelekezo142 Jibu lisilo sahihi134 Hitilafu ya API17 Muda umeisha4

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

142/142

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#143	Qwen3.8 Flash Next medium	Qwen	1	0.5	~$0.047	0/1	7.29s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama ~$0.047 Muda wa majibu (wastani) 7.29s
#145	Qwen3.8 27B low	Qwen	1	0.5	~$0.089	0/1	5.37s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama ~$0.089 Muda wa majibu (wastani) 5.37s
#148	Seed-2.0-Mini medium	Bytedance Seed	1	0.5	$0.140	0/1	36.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.140 Muda wa majibu (wastani) 36.7s
#154	Seed-2.0-Code medium	Bytedance Seed	1	0.5	$1.275	0/1	11.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.275 Muda wa majibu (wastani) 11.4s
#155	GLM 5.3 FlashX high	Z.ai	1	0.6	$0.210	0/1	2.28s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.210 Muda wa majibu (wastani) 2.28s
#161	GLM 5.3 Flash high	Z.ai	1	0.5	$0.056	0/1	3.33s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.056 Muda wa majibu (wastani) 3.33s
#164	Gemini 2.5 Flash medium	Google	1	0.5	$0.680	0/1	4.86s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.680 Muda wa majibu (wastani) 4.86s
#166	Qwen3.6 Plus medium	Qwen	1	0.5	$0.554	0/1	27.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.554 Muda wa majibu (wastani) 27.1s
#167	Gemini 3.5 Flash Lite medium	Google	1	0.5	$0.440	0/1	2.97s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.440 Muda wa majibu (wastani) 2.97s
#168	Qwen3.5-27B none	Qwen	1	0.5	$0.116	0/1	2.51s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.116 Muda wa majibu (wastani) 2.51s
#170	Qwen3.8 27B medium	Qwen	1	0.5	~$0.073	0/1	9.20s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama ~$0.073 Muda wa majibu (wastani) 9.20s
#175	GLM 5 medium	Z.ai	1	0.6	$0.479	0/1	14.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.479 Muda wa majibu (wastani) 14.7s
#177	Qwen3.6 27B medium	Qwen	1	0.6	$1.021	0/1	39.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.021 Muda wa majibu (wastani) 39.5s
#179	Qwen3.8 Flash Next xhigh	Qwen	1	0.5	~$0.195	0/1	3.95s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama ~$0.195 Muda wa majibu (wastani) 3.95s
#180	GLM 5.3 FlashX medium	Z.ai	1	0.3	$0.114	0/1	1.79s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.114 Muda wa majibu (wastani) 1.79s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.4752 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.046984.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa