Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

128

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi275 Hakufuata maelekezo128 Hitilafu ya API15 Muundo wa ziada14 Hakuna jibu11 Muda umeisha11

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

121/121

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#273	Grok 4.20 Multi Agent Beta medium	X AI	1	6.7	$5.599	1/3	5.19s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $5.599 Muda wa majibu (wastani) 5.19s
#275	GLM 4.7 Flash none	Z.ai	1	6.4	$0.016	1/3	1.20s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.016 Muda wa majibu (wastani) 1.20s
#276	Trinity Large Preview none	Arcee AI	1	3.6	$0.008	0/3	1.97s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.008 Muda wa majibu (wastani) 1.97s
#277	Hunter Alpha medium	OpenRouter	1	6.1	$0.000	1/3	5.35s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 5.35s
#278	Grok 4.1 Fast medium	X AI	1	5.3	$0.069	1/3	7.40s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.069 Muda wa majibu (wastani) 7.40s
#280	Cobuddy medium	Baidu	1	3.6	$0.000	0/3	12.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 12.8s
#283	Qwen3 Coder Next medium	Qwen	1	3.0	$0.034	0/3	1.25s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.034 Muda wa majibu (wastani) 1.25s
#288	Elephant Alpha none	Openrouter	1	4.2	$0.000	0/3	807ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 807ms
#289	GLM 4.7 Flash medium	Z.ai	1	2.9	$0.168	0/3	12.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.168 Muda wa majibu (wastani) 12.9s
#290	Elephant Alpha medium	Openrouter	1	5.3	$0.000	1/3	868ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 868ms
#292	Hunter Alpha none	OpenRouter	1	5.8	$0.000	1/3	3.71s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.71s
#295	Hy3 preview none	Tencent	1	3.1	$0.007	0/3	4.56s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 4.56s
#298	Granite 4.1 8B none	IBM Granite	1	3.2	$0.007	0/3	608ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 608ms
#300	Grok Build 0.1 none	X AI	1	6.4	$0.547	1/3	9.55s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.547 Muda wa majibu (wastani) 9.55s
#307	gpt-oss-120b none	OpenAI	1	6.0	$0.010	1/3	8.21s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.010 Muda wa majibu (wastani) 8.21s

←

1 7 8 9

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa