Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

128

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi275 Hakufuata maelekezo128 Hitilafu ya API15 Muundo wa ziada14 Hakuna jibu11 Muda umeisha11

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

121/121

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#244	Ling-2.6-1T none	Inclusionai	1	3.1	$0.016	0/3	5.36s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 5.36s
#245	Gemini 3.1 Flash Lite Preview high	Google	1	7.7	$2.310	2/3	46.7s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.310 Muda wa majibu (wastani) 46.7s
#251	Mistral Small 4 none	Mistral	1	3.1	$0.022	0/3	399ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.022 Muda wa majibu (wastani) 399ms
#252	Mistral Small 4 medium	Mistral	1	3.4	$0.097	0/3	2.17s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.097 Muda wa majibu (wastani) 2.17s
#255	MiMo-V2.5 none	Xiaomi	1	5.4	$0.025	1/3	2.13s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.025 Muda wa majibu (wastani) 2.13s
#256	Qwen3.5-9B none	Qwen	1	3.2	$0.021	0/3	621ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.021 Muda wa majibu (wastani) 621ms
#257	GLM 5 Turbo none	Z.ai	1	5.5	$0.047	1/3	2.65s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 2.65s
#259	MiniMax M2.7 medium	Minimax	1	5.9	$0.208	1/3	24.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.208 Muda wa majibu (wastani) 24.9s
#263	GPT-4o-mini none	OpenAI	1	3.5	$0.010	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.010 Muda wa majibu (wastani) 1.21s
#265	Mercury 2.5 Preview none	Inception	1	5.6	$0.018	1/3	684ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.018 Muda wa majibu (wastani) 684ms
#266	Ling-2.6-flash none	Inclusionai	1	2.9	$0.002	0/3	6.51s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.002 Muda wa majibu (wastani) 6.51s
#267	Nemotron 3 Super none	NVIDIA	1	5.5	$0.008	1/3	2.36s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 2.36s
#268	Hy4 preview none	Tencent	1	4.6	$0.041	0/3	24.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.041 Muda wa majibu (wastani) 24.1s
#269	Ring-2.6-1T none	Inclusionai	1	7.7	$0.026	2/3	31.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.026 Muda wa majibu (wastani) 31.5s
#271	GPT-5.4 Nano none	OpenAI	1	5.4	$0.041	1/3	1.25s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.041 Muda wa majibu (wastani) 1.25s

←

1 6 7 8 9

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa