Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi201 Hakufuata maelekezo90 Hitilafu ya API12 Muundo wa ziada8 Muda umeisha5 Hakuna jibu3

Kategoria

Utatuzi wa mafumbo90 Akili ya jumla78 Mbinu za kupinga AI33 Ufuataji wa maagizo18 Uandishi wa msimbo16 Mwito wa zana8 Mahususi kwa domeni1 Mchanganyiko1

86/86

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#103	Qwen3.5-27B none	Qwen	1	6.7	$0.090	1/3	1.38s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.090 Muda wa majibu (wastani) 1.38s
#108	Ring-2.6-1T medium	Inclusionai	1	5.9	$0.103	1/3	20.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.103 Muda wa majibu (wastani) 20.7s
#109	Mimo V2 PRO medium	Xiaomi	1	6.4	$0.333	1/3	5.08s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.333 Muda wa majibu (wastani) 5.08s
#115	Gemma 4 31B none	Google	1	6.5	$0.035	1/3	4.23s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.035 Muda wa majibu (wastani) 4.23s
#121	gpt-oss-120b medium	OpenAI	1	5.3	$0.019	1/3	21.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.019 Muda wa majibu (wastani) 21.7s
#122	Gemini 3.1 Flash Lite none	Google	1	6.3	$0.046	1/3	720ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.046 Muda wa majibu (wastani) 720ms
#123	Inkling low	Thinkingmachines	1	6.4	$0.187	1/3	2.97s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.187 Muda wa majibu (wastani) 2.97s
#124	Qwen3.6 Flash none	Qwen	1	3.5	$0.062	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.062 Muda wa majibu (wastani) 1.21s
#127	Qwen3.5-35B-A3B none	Qwen	1	3.7	$0.106	0/3	1.35s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.106 Muda wa majibu (wastani) 1.35s
#128	GPT-5 Nano medium	OpenAI	1	5.3	$0.114	1/3	20.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.114 Muda wa majibu (wastani) 20.6s
#129	Nemotron 3 Ultra none	NVIDIA	1	5.9	$0.095	1/3	1.06s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.095 Muda wa majibu (wastani) 1.06s
#130	Step 3.5 Flash medium	Stepfun	1	5.3	$0.108	1/3	7.22s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.108 Muda wa majibu (wastani) 7.22s
#134	Mimo V2 Omni medium	Xiaomi	1	5.9	$0.683	1/3	2.38s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.683 Muda wa majibu (wastani) 2.38s
#136	GPT-5.4 Mini none	OpenAI	1	5.4	$0.095	1/3	836ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.095 Muda wa majibu (wastani) 836ms
#138	Kimi K2.6 none	Moonshot AI	1	3.1	$0.184	0/3	1.40s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.184 Muda wa majibu (wastani) 1.40s

←

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa