Orodha ya Akili ya jumla x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Akili ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

142

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 1

Sababu za kushindwa

Hakufuata maelekezo142 Jibu lisilo sahihi134 Hitilafu ya API17 Muda umeisha4

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

142/142

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#388	Trinity Large Preview default	Arcee AI	1	0.5	$0.008	0/1	873ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.008 Muda wa majibu (wastani) 873ms
#390	Cobuddy medium	Baidu	1	0.4	$0.000	0/1	23.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 23.2s
#391	Mercury 2 none	Inception	1	0.5	$0.033	0/1	628ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.033 Muda wa majibu (wastani) 628ms
#393	MiniMax M2.5 medium	Minimax	1	0.4	$0.440	0/1	6.63s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.440 Muda wa majibu (wastani) 6.63s
#396	GLM 5 Turbo none	Z.ai	1	0.4	$0.047	0/1	2.18s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.047 Muda wa majibu (wastani) 2.18s
#400	Grok 4.20 Multi Agent Beta medium	X AI	1	0.6	$5.599	0/1	6.40s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $5.599 Muda wa majibu (wastani) 6.40s
#401	Hunter Alpha medium	OpenRouter	1	0.7	$0.000	0/1	6.44s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 6.44s
#402	Grok 4.1 Fast medium	X AI	1	0.4	$0.069	0/1	16.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.069 Muda wa majibu (wastani) 16.2s
#404	Ling 3.0 Tiny default	Inclusionai	1	0.3	$0.000	0/1	1.07s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.07s
#408	Ling 3.0 Tiny high	Inclusionai	1	0.5	$0.000	0/1	60.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 60.5s
#409	Ling 3.0 Tiny low	Inclusionai	1	0.5	$0.000	0/1	29.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 29.3s
#410	Ling 3.0 Tiny medium	Inclusionai	1	0.4	$0.000	0/1	31.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 31.8s
#411	Grok 4.20 Beta default	X AI	1	0.5	$0.087	0/1	541ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.087 Muda wa majibu (wastani) 541ms
#413	Elephant Alpha default	Openrouter	1	0.4	$0.000	0/1	854ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 854ms
#414	Elephant Alpha medium	Openrouter	1	0.4	$0.000	0/1	920ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 920ms

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa