Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi201 Hakufuata maelekezo90 Hitilafu ya API12 Muundo wa ziada8 Muda umeisha5 Hakuna jibu3

Kategoria

Utatuzi wa mafumbo90 Akili ya jumla78 Mbinu za kupinga AI33 Ufuataji wa maagizo18 Uandishi wa msimbo16 Mwito wa zana8 Mahususi kwa domeni1 Mchanganyiko1

86/86

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#167	Mistral Small 4 medium	Mistral	1	3.4	$0.096	0/3	2.17s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.096 Muda wa majibu (wastani) 2.17s
#168	MiMo-V2.5 none	Xiaomi	1	5.4	$0.025	1/3	2.13s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.025 Muda wa majibu (wastani) 2.13s
#169	Qwen3.5-9B none	Qwen	1	3.2	$0.021	0/3	621ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.021 Muda wa majibu (wastani) 621ms
#170	GLM 5 Turbo none	Z.ai	1	5.5	$0.047	1/3	2.65s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 2.65s
#172	MiniMax M2.7 medium	Minimax	1	5.9	$0.163	1/3	24.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.163 Muda wa majibu (wastani) 24.9s
#174	GPT-4o-mini none	OpenAI	1	3.5	$0.010	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.010 Muda wa majibu (wastani) 1.21s
#176	GLM 4.7 Flash none	Z.ai	1	6.4	$0.016	1/3	1.20s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.016 Muda wa majibu (wastani) 1.20s
#177	Nemotron 3 Super none	NVIDIA	1	5.5	$0.008	1/3	2.36s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 2.36s
#178	Ling-2.6-flash none	Inclusionai	1	2.9	$0.002	0/3	6.51s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.002 Muda wa majibu (wastani) 6.51s
#179	Ring-2.6-1T none	Inclusionai	1	7.7	$0.026	2/3	31.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.026 Muda wa majibu (wastani) 31.5s
#180	GPT-5.4 Nano none	OpenAI	1	5.4	$0.041	1/3	1.25s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.041 Muda wa majibu (wastani) 1.25s
#181	Grok 4.20 Multi Agent Beta medium	X AI	1	6.7	$5.599	1/3	5.19s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $5.599 Muda wa majibu (wastani) 5.19s
#183	Trinity Large Preview none	Arcee AI	1	3.6	$0.008	0/3	1.97s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.008 Muda wa majibu (wastani) 1.97s
#184	Hunter Alpha medium	OpenRouter	1	6.1	$0.000	1/3	5.35s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 5.35s
#185	Grok 4.1 Fast medium	X AI	1	5.3	$0.069	1/3	7.40s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.069 Muda wa majibu (wastani) 7.40s

←

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa