Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Minimax M3.1 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#388	Trinity Large Preview default	Arcee AI	1	0.4	$0.008	0/3	1.97s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.008 Muda wa majibu (wastani) 1.97s
#390	Cobuddy medium	Baidu	1	0.4	$0.000	0/3	12.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 12.8s
#392	Gemini 3.1 Flash Lite Preview high	Google	1	0.8	$2.310	2/3	46.7s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.310 Muda wa majibu (wastani) 46.7s
#394	GLM 4.7 Flash medium	Z.ai	1	0.3	$0.193	0/3	12.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.193 Muda wa majibu (wastani) 12.9s
#395	gpt-oss-120b none	OpenAI	1	0.6	$0.016	1/3	8.21s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.016 Muda wa majibu (wastani) 8.21s
#396	GLM 5 Turbo none	Z.ai	1	0.5	$0.047	1/3	2.65s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 2.65s
#400	Grok 4.20 Multi Agent Beta medium	X AI	1	0.7	$5.599	1/3	5.19s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $5.599 Muda wa majibu (wastani) 5.19s
#401	Hunter Alpha medium	OpenRouter	1	0.6	$0.000	1/3	5.35s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 5.35s
#402	Grok 4.1 Fast medium	X AI	1	0.5	$0.069	1/3	7.40s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.069 Muda wa majibu (wastani) 7.40s
#405	Granite 4.1 8b default	IBM Granite	1	0.3	$0.007	0/3	608ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 608ms
#413	Elephant Alpha default	Openrouter	1	0.4	$0.000	0/3	807ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 807ms
#414	Elephant Alpha medium	Openrouter	1	0.5	$0.000	1/3	868ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 868ms
#415	Hunter Alpha default	OpenRouter	1	0.6	$0.000	1/3	3.71s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.71s
#419	Hy3 preview none	Tencent	1	0.3	$0.007	0/3	4.56s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 4.56s
#421	Xing4.0 29b A4b none	Xingchen AGI	1	0.3	$0.000	0/3	16.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 16.8s

←

1 9 10 11

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa