Orodha ya Ufuataji wa maagizo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Ufuataji wa maagizo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

111

Modeli iliyoathirika zaidi

Decider V1.1 27B 1

Sababu za kushindwa

Jibu lisilo sahihi111 Hakufuata maelekezo73 Hitilafu ya API25 Muundo wa ziada8 Muda umeisha5 Hakuna jibu2

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

111/111

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#425	Decider V1.1 27B default	Perplexity	1	0.2	$0.002	0/1	333ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.002 Muda wa majibu (wastani) 333ms
#396	Granite 4.1 8b default	IBM Granite	1	0.4	$0.007	0/2	344ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.007 Muda wa majibu (wastani) 344ms
#326	Laguna XS 2.1 none	Poolside	1	0.4	$0.020	0/2	364ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.020 Muda wa majibu (wastani) 364ms
#335	Mistral Small 4 none	Mistral	1	0.7	$0.047	1/2	380ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.047 Muda wa majibu (wastani) 380ms
#340	Laguna S 2.1 medium	Poolside	1	0.4	$0.092	0/2	400ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.092 Muda wa majibu (wastani) 400ms
#368	Laguna S 2.1 low	Poolside	1	0.4	$0.108	0/2	423ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.108 Muda wa majibu (wastani) 423ms
#432	Decider Flash V1.2 default	Perplexity	1	0.2	$0.001	0/1	424ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.001 Muda wa majibu (wastani) 424ms
#416	Laguna Xs.2 default	Poolside	1	0.7	$0.004	1/2	439ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.004 Muda wa majibu (wastani) 439ms
#407	Grok 4.20 none	X AI	1	0.6	$0.057	1/2	445ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.057 Muda wa majibu (wastani) 445ms
#349	Laguna S 2.1 high	Poolside	1	0.5	$0.145	0/2	453ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.145 Muda wa majibu (wastani) 453ms
#441	Nimble v3 9B default	Bespoke Labs	1	0.2	~$0.001	0/1	469ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama ~$0.001 Muda wa majibu (wastani) 469ms
#388	Mercury 2.5 none	Inception	1	0.5	$0.026	0/2	493ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.026 Muda wa majibu (wastani) 493ms
#424	Decider V1.2 default	Perplexity	1	0.2	$0.001	0/1	508ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.001 Muda wa majibu (wastani) 508ms
#397	Nemotron 3.5 Lightning none	NVIDIA	1	0.7	$0.009	1/2	511ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.009 Muda wa majibu (wastani) 511ms
#232	Qwen3.5-122B-A10B none	Qwen	1	0.6	$0.308	1/2	513ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.308 Muda wa majibu (wastani) 513ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa