Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi201 Hakufuata maelekezo90 Hitilafu ya API12 Muundo wa ziada8 Muda umeisha5 Hakuna jibu3

Kategoria

Utatuzi wa mafumbo90 Akili ya jumla78 Mbinu za kupinga AI33 Ufuataji wa maagizo18 Uandishi wa msimbo16 Mwito wa zana8 Mahususi kwa domeni1 Mchanganyiko1

86/86

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#120	Gemini 3.1 Flash Lite minimal	Google	2	6.0	$0.047	1/3	2.15s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 2.15s
#143	Gemini 3.1 Flash Lite high	Google	2	5.7	$2.044	1/3	50.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.044 Muda wa majibu (wastani) 50.8s
#161	Qwen3.6 35B A3B none	Qwen	2	3.2	$0.061	0/3	1.07s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.061 Muda wa majibu (wastani) 1.07s
#171	North Mini Code none	Cohere	2	3.5	$0.000	0/3	24.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 24.4s
#13	GPT-5.3-Codex medium	OpenAI	1	9.0	$0.920	2/3	5.05s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.920 Muda wa majibu (wastani) 5.05s
#16	Muse Spark 1.1 medium	Meta	1	7.9	$1.357	2/3	42.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.357 Muda wa majibu (wastani) 42.5s
#18	GPT-5.4 medium	OpenAI	1	8.2	$1.533	2/3	9.14s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.533 Muda wa majibu (wastani) 9.14s
#21	GPT-5.2 medium	OpenAI	1	7.5	$0.951	2/3	5.80s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.951 Muda wa majibu (wastani) 5.80s
#24	Muse Spark 1.1 low	Meta	1	8.3	$0.647	2/3	6.60s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.647 Muda wa majibu (wastani) 6.60s
#26	GPT-5 Mini medium	OpenAI	1	5.6	$0.237	1/3	15.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.237 Muda wa majibu (wastani) 15.2s
#28	Inkling high	Thinkingmachines	1	6.9	$1.006	1/3	10.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.006 Muda wa majibu (wastani) 10.7s
#31	GLM 5.2 high	Z.ai	1	6.0	$0.970	1/3	33.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.970 Muda wa majibu (wastani) 33.7s
#35	Seed-2.0-Lite medium	Bytedance Seed	1	9.0	$0.234	2/3	10.2s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.234 Muda wa majibu (wastani) 10.2s
#45	DeepSeek V4 Flash high	DeepSeek	1	8.2	$0.042	2/3	26.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.042 Muda wa majibu (wastani) 26.1s
#46	DeepSeek V4 Pro high	DeepSeek	1	6.9	$0.200	1/3	56.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.200 Muda wa majibu (wastani) 56.8s

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa