Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Claude Opus 5.5 1

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#24	Claude Opus 5.5 low	Anthropic	1	0.9	$1.733	2/3	29.8s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.733 Muda wa majibu (wastani) 29.8s
#25	Claude Opus 5.5 high	Anthropic	1	0.9	$2.133	2/3	30.8s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.133 Muda wa majibu (wastani) 30.8s
#30	Muse Spark Open high	Meta	1	0.8	$1.782	2/3	145.7s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.782 Muda wa majibu (wastani) 145.7s
#38	GPT-5.3-Codex medium	OpenAI	1	0.9	$1.318	2/3	5.05s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.318 Muda wa majibu (wastani) 5.05s
#39	Claude Haiku 5.5 xhigh	Anthropic	1	0.8	$0.140	2/3	3.80s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.140 Muda wa majibu (wastani) 3.80s
#40	Muse Spark 1.3 high	Meta	1	0.9	$1.891	2/3	38.4s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.891 Muda wa majibu (wastani) 38.4s
#53	GLM 5.3 Flash max	Z.ai	1	0.9	$0.089	2/3	5.61s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.089 Muda wa majibu (wastani) 5.61s
#55	Muse Spark 1.2 high	Meta	1	0.8	$2.018	2/3	10.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.018 Muda wa majibu (wastani) 10.1s
#56	Muse Spark 1.2 medium	Meta	1	0.9	$1.590	2/3	9.45s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.590 Muda wa majibu (wastani) 9.45s
#57	Muse Spark 1.1 medium	Meta	1	0.8	$1.665	2/3	42.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.665 Muda wa majibu (wastani) 42.5s
#61	GPT-5.4 medium	OpenAI	1	0.8	$2.213	2/3	9.14s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.213 Muda wa majibu (wastani) 9.14s
#62	Muse Spark Open medium	Meta	1	0.8	$1.260	2/3	29.4s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.260 Muda wa majibu (wastani) 29.4s
#64	DeepSeek V4.1 Flash medium	DeepSeek	1	0.9	$0.591	2/3	8.01s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.591 Muda wa majibu (wastani) 8.01s
#65	Muse Spark 1.2 low	Meta	1	0.9	$0.881	2/3	5.17s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.881 Muda wa majibu (wastani) 5.17s
#66	GPT-5.2 medium	OpenAI	1	0.7	$1.558	2/3	5.80s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.558 Muda wa majibu (wastani) 5.80s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa