Orodha ya Ufuataji wa maagizo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

111

Modeli iliyoathirika zaidi

Qwen3.7 Plus 1

Sababu za kushindwa

Jibu lisilo sahihi111 Hakufuata maelekezo73 Hitilafu ya API25 Muundo wa ziada8 Muda umeisha5 Hakuna jibu2

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

111/111

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#128	Qwen3.7 Plus none	Qwen	1	0.6	$0.178	1/2	929ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.178 Muda wa majibu (wastani) 929ms
#143	Space Bunny Alpha high	Stealth	1	0.6	$0.000	1/2	2.04s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 2.04s
#144	GLM 5.1 medium	Z.ai	1	0.6	$1.546	1/2	7.47s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $1.546 Muda wa majibu (wastani) 7.47s
#155	DeepSeek V4 Pro 0423 none	DeepSeek	1	0.6	$0.083	1/2	4.12s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.083 Muda wa majibu (wastani) 4.12s
#162	LongCat 2.0 high	Meituan	1	0.7	$0.778	1/2	6.96s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.778 Muda wa majibu (wastani) 6.96s
#165	Qwen3.5-27B none	Qwen	1	0.6	$0.116	1/2	1.03s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.116 Muda wa majibu (wastani) 1.03s
#171	LongCat 2.0 medium	Meituan	1	0.7	$0.767	1/2	7.38s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.767 Muda wa majibu (wastani) 7.38s
#201	Space Bunny Alpha max	Stealth	1	0.6	$0.000	0/2	3.78s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.78s
#205	Qwen3.5-Flash none	Qwen	1	0.6	$0.089	1/2	8.81s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.089 Muda wa majibu (wastani) 8.81s
#214	GPT-5.5 none	OpenAI	1	0.6	$1.212	1/2	1.15s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $1.212 Muda wa majibu (wastani) 1.15s
#216	Qwen3.7 Flash medium	Qwen	1	0.6	$0.076	0/2	9.27s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.076 Muda wa majibu (wastani) 9.27s
#217	LongCat 2.0 low	Meituan	1	0.7	$0.630	1/2	6.39s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.630 Muda wa majibu (wastani) 6.39s
#232	Qwen3.5-122B-A10B none	Qwen	1	0.6	$0.308	1/2	513ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.308 Muda wa majibu (wastani) 513ms
#233	Gemini 3 Flash Preview none	Google	1	0.6	$0.155	1/2	1.58s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.155 Muda wa majibu (wastani) 1.58s
#240	Gemini 3.5 Flash minimal	Google	1	0.6	$0.508	1/2	893ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.508 Muda wa majibu (wastani) 893ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa