Orodha ya Ufuataji wa maagizo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

LongCat 2.0 1

Sababu za kushindwa

Jibu lisilo sahihi82 Hakufuata maelekezo48 Muundo wa ziada7 Muda umeisha5 Hakuna jibu2 Hitilafu ya API2

Kategoria

Mahususi kwa domeni654 Mbinu za kupinga AI386 Uandishi wa msimbo361 Utatuzi wa mafumbo275 Maarifa ya jumla244 Mchanganyiko95 Akili ya jumla90 Ufuataji wa maagizo82 Uchanganuzi na uchimbaji wa data66 Mwito wa zana5

82/82

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#104	LongCat 2.0 medium	Meituan	1	6.5	$0.499	1/2	7.38s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.499 Muda wa majibu (wastani) 7.38s
#108	Claude Sonnet 4.6 none	Anthropic	1	6.5	$0.661	1/2	1.96s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.661 Muda wa majibu (wastani) 1.96s
#113	Qwen3.7 Plus none	Qwen	1	6.3	$0.106	1/2	929ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.106 Muda wa majibu (wastani) 929ms
#129	GLM 5.1 medium	Z.ai	1	6.4	$0.727	1/2	7.47s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.727 Muda wa majibu (wastani) 7.47s
#130	GPT-5.5 none	OpenAI	1	6.2	$0.544	1/2	1.15s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.544 Muda wa majibu (wastani) 1.15s
#137	Qwen3.7 Flash medium	Qwen	1	5.8	$0.065	0/2	9.27s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.065 Muda wa majibu (wastani) 9.27s
#145	DeepSeek V4 Pro none	DeepSeek	1	6.3	$0.226	1/2	4.12s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.226 Muda wa majibu (wastani) 4.12s
#148	Gemini 3 Flash Preview none	Google	1	6.4	$0.085	1/2	1.58s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.085 Muda wa majibu (wastani) 1.58s
#152	LongCat 2.0 low	Meituan	1	6.5	$0.412	1/2	6.39s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.412 Muda wa majibu (wastani) 6.39s
#153	Gemini 3.5 Flash minimal	Google	1	6.4	$0.300	1/2	893ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.300 Muda wa majibu (wastani) 893ms
#155	LongCat 2.0 high	Meituan	1	6.5	$0.492	1/2	6.96s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.492 Muda wa majibu (wastani) 6.96s
#158	Qwen3.5-27B none	Qwen	1	6.3	$0.058	1/2	1.03s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.058 Muda wa majibu (wastani) 1.03s
#172	LongCat 2.0 none	Meituan	1	6.5	$0.044	1/2	2.82s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.044 Muda wa majibu (wastani) 2.82s
#185	Qwen3.7 Flash none	Qwen	1	6.3	$0.019	1/2	892ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.019 Muda wa majibu (wastani) 892ms
#189	Trinity Large Thinking medium	Arcee AI	1	4.4	$0.756	0/2	3.99s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.756 Muda wa majibu (wastani) 3.99s

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa