Orodha ya Kazi za mawakala x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Kazi za mawakala, ili uone udhaifu haraka. Panga kwa: Idadi ya kushindwa ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3.5 Flash Lite 1

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Utatuzi wa mafumbo138 Akili ya jumla128 Ufuataji wa maagizo60 Mbinu za kupinga AI47 Uandishi wa msimbo36 Kazi za mawakala14 Mwito wa zana12 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni2 Mchanganyiko1

14/14

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#66	Gemini 3.5 Flash Lite high	Google	1	7.4	$0.649	0/1	63.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.649 Muda wa majibu (wastani) 63.8s
#104	Step 3.7 Flash medium	Stepfun	1	7.4	$0.571	0/1	93.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.571 Muda wa majibu (wastani) 93.9s
#132	GLM 5.3 Flash high	Z.ai	1	7.4	$0.084	0/1	111.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.084 Muda wa majibu (wastani) 111.5s
#135	Gemini 2.5 Flash medium	Google	1	3.0	$0.644	0/1	6.54s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.644 Muda wa majibu (wastani) 6.54s
#147	Gemini 3.8 Flash low	Google	1	5.9	$0.334	0/1	62.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.334 Muda wa majibu (wastani) 62.9s
#186	Qwen3.7 Flash medium	Qwen	1	5.2	$0.076	0/1	149.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.076 Muda wa majibu (wastani) 149.0s
#197	GLM 5.2 none	Z.ai	1	5.2	$0.161	0/1	52.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.161 Muda wa majibu (wastani) 52.3s
#203	Qwen3.5 Plus 2026-02-15 none	Qwen	1	5.9	$0.173	0/1	183.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.173 Muda wa majibu (wastani) 183.5s
#213	Qwen3.5-35B-A3B medium	Qwen	1	7.4	$1.249	0/1	126.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.249 Muda wa majibu (wastani) 126.8s
#232	Trinity Large Thinking low	Arcee AI	1	6.4	$0.703	0/1	73.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.703 Muda wa majibu (wastani) 73.0s
#266	Gemini 2.5 Flash none	Google	1	3.0	$0.017	0/1	1.81s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.017 Muda wa majibu (wastani) 1.81s
#317	Laguna S 2.1 none	Poolside	1	5.4	$0.047	0/1	149.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.047 Muda wa majibu (wastani) 149.3s
#324	Laguna S 2.1 low	Poolside	1	2.8	$0.109	0/1	152.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.109 Muda wa majibu (wastani) 152.1s
#338	Mercury 2 none	Inception	1	3.0	$0.033	0/1	9.00s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.033 Muda wa majibu (wastani) 9.00s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa