Orodha ya Akili ya jumla x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Akili ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

142

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Hakufuata maelekezo142 Jibu lisilo sahihi134 Hitilafu ya API17 Muda umeisha4

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

142/142

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#182	MiMo-V2.6-Flash low	Xiaomi	1	0.5	$0.200	0/1	1.60s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.200 Muda wa majibu (wastani) 1.60s
#183	MiMo-V2.5 medium	Xiaomi	1	0.5	$0.130	0/1	5.37s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.130 Muda wa majibu (wastani) 5.37s
#184	GPT-5.2 Chat default	OpenAI	1	0.4	$0.594	0/1	3.20s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.594 Muda wa majibu (wastani) 3.20s
#193	Muse Glimmer 30B low	Meta	1	0.5	$0.219	0/1	2.50s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.219 Muda wa majibu (wastani) 2.50s
#199	Claude Sonnet 5.5 low	Anthropic	1	0.5	$0.909	0/1	2.33s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.909 Muda wa majibu (wastani) 2.33s
#202	Qwen3.5-Flash medium	Qwen	1	0.6	$0.184	0/1	40.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.184 Muda wa majibu (wastani) 40.1s
#204	Mercury 2.5 Preview medium	Inception	1	0.5	$0.039	0/1	2.09s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.039 Muda wa majibu (wastani) 2.09s
#206	Space Bunny Alpha max	Stealth	1	0.5	$0.000	0/1	8.15s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 8.15s
#207	Solar Pro 4 xhigh	Upstage	1	0.6	$0.067	0/1	61.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.067 Muda wa majibu (wastani) 61.9s
#212	Grok 4.7 high	X AI	1	0.4	$3.037	0/1	17.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $3.037 Muda wa majibu (wastani) 17.1s
#213	MiniMax M3 medium	Minimax	1	0.5	$0.422	0/1	33.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.422 Muda wa majibu (wastani) 33.3s
#215	GPT 5.3 Chat default	OpenAI	1	0.5	$0.533	0/1	1.99s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.533 Muda wa majibu (wastani) 1.99s
#218	GLM 5.3 Flash low	Z.ai	1	0.5	$0.038	0/1	1.68s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.038 Muda wa majibu (wastani) 1.68s
#221	Qwen3.7 Flash medium	Qwen	1	0.6	$0.076	0/1	10.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.076 Muda wa majibu (wastani) 10.2s
#223	Mercury 2 medium	Inception	1	0.5	$0.121	0/1	821ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.121 Muda wa majibu (wastani) 821ms

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa