Orodha ya Akili ya jumla x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Akili ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

141

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Hakufuata maelekezo141 Jibu lisilo sahihi129 Hitilafu ya API17 Muda umeisha4

Kategoria

Utatuzi wa mafumbo160 Akili ya jumla141 Ufuataji wa maagizo73 Mbinu za kupinga AI52 Uandishi wa msimbo45 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

141/141

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#83	GPT-5 Mini medium	OpenAI	1	0.5	$0.315	0/1	13.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.315 Muda wa majibu (wastani) 13.5s
#99	Grok 4.5 high	X AI	1	0.5	$2.687	0/1	9.82s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $2.687 Muda wa majibu (wastani) 9.82s
#102	Seed-2.0-Lite medium	Bytedance Seed	1	0.7	$0.271	0/1	18.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.271 Muda wa majibu (wastani) 18.2s
#103	Seed-2.0-Code low	Bytedance Seed	1	0.6	$0.881	0/1	11.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.881 Muda wa majibu (wastani) 11.1s
#106	DeepSeek V4 Flash 0423 high	DeepSeek	1	0.6	$0.261	0/1	25.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.261 Muda wa majibu (wastani) 25.2s
#110	GPT-5.4 Nano medium	OpenAI	1	0.5	$0.235	0/1	4.15s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.235 Muda wa majibu (wastani) 4.15s
#114	Qwen3.5-27B medium	Qwen	1	0.6	$1.135	0/1	101.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.135 Muda wa majibu (wastani) 101.4s
#117	GPT-5.4 Mini medium	OpenAI	1	0.5	$1.102	0/1	3.72s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.102 Muda wa majibu (wastani) 3.72s
#120	Qwen3.8 2.4T A95B high	Qwen	1	0.6	$2.949	0/1	11.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $2.949 Muda wa majibu (wastani) 11.4s
#125	GLM 5.3 high	Z.ai	1	0.6	$0.495	0/1	8.00s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.495 Muda wa majibu (wastani) 8.00s
#128	Qwen3.7 Plus none	Qwen	1	0.5	$0.178	0/1	1.33s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.178 Muda wa majibu (wastani) 1.33s
#133	Muse Glimmer 30B high	Meta	1	0.5	$0.506	0/1	6.36s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.506 Muda wa majibu (wastani) 6.36s
#135	Claude Haiku 5.5 medium	Anthropic	1	0.4	$0.063	0/1	5.17s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.063 Muda wa majibu (wastani) 5.17s
#137	Qwen3.7 Flash low	Qwen	1	0.4	$0.071	0/1	14.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.071 Muda wa majibu (wastani) 14.4s
#138	Muse Glimmer 30B medium	Meta	1	0.5	$0.288	0/1	5.16s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.288 Muda wa majibu (wastani) 5.16s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa