Orodha ya Ufuataji wa maagizo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

111

Modeli iliyoathirika zaidi

Qwen3.7 Plus 1

Sababu za kushindwa

Jibu lisilo sahihi111 Hakufuata maelekezo73 Hitilafu ya API25 Muundo wa ziada8 Muda umeisha5 Hakuna jibu2

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

111/111

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#294	GPT-5.4 Mini none	OpenAI	1	0.6	$0.170	1/2	728ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.170 Muda wa majibu (wastani) 728ms
#295	Mistral Large 4 none	Mistral	1	0.7	$0.290	1/2	1.16s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.290 Muda wa majibu (wastani) 1.16s
#298	Gemma 4 31B none	Google	1	0.7	$0.031	1/2	2.84s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.031 Muda wa majibu (wastani) 2.84s
#299	Space Bunny Alpha low	Stealth	1	0.4	$0.000	0/2	1.43s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.43s
#300	GPT-5.4 none	OpenAI	1	0.7	$0.690	1/2	1.07s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.690 Muda wa majibu (wastani) 1.07s
#301	Solar Pro 4 none	Upstage	1	0.6	$0.022	1/2	1.67s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.022 Muda wa majibu (wastani) 1.67s
#304	Qwen3.5-35B-A3B none	Qwen	1	0.6	$0.120	1/2	809ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.120 Muda wa majibu (wastani) 809ms
#307	Kimi K2.6 none	Moonshot AI	1	0.7	$0.486	1/2	1.64s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.486 Muda wa majibu (wastani) 1.64s
#310	GPT-6 Luna none	OpenAI	1	0.6	$0.026	1/2	17.0s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.026 Muda wa majibu (wastani) 17.0s
#311	Gemma 4 26B A4B none	Google	1	0.6	$0.031	1/2	690ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.031 Muda wa majibu (wastani) 690ms
#315	Qwen3.8 27B none	Qwen	1	0.6	~$0.010	1/2	582ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama ~$0.010 Muda wa majibu (wastani) 582ms
#318	MiMo-V2.6-Flash none	Xiaomi	1	0.7	$0.060	1/2	810ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.060 Muda wa majibu (wastani) 810ms
#322	GPT-5.6 Luna none	OpenAI	1	0.7	$0.042	1/2	1.23s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.042 Muda wa majibu (wastani) 1.23s
#323	Granite 4.2 8B low	IBM Granite	1	0.3	$0.036	0/2	75.8s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.036 Muda wa majibu (wastani) 75.8s
#324	Kimi K2.5 none	Moonshot AI	1	0.7	$0.262	1/2	2.67s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.262 Muda wa majibu (wastani) 2.67s

←

1 2 3 4 8

→

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0968 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.009566.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa