Orodha ya Ufuataji wa maagizo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Ufuataji wa maagizo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi117 Hakufuata maelekezo77 Hitilafu ya API25 Muundo wa ziada8 Muda umeisha5 Hakuna jibu2

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

77/77

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#429	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	0.7	$0.000	1/2	1.37s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.37s
#431	Nemotron 3 Nano Omni 30b A3b Reasoning default	NVIDIA	1	0.5	$0.000	0/2	541ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 541ms

←

1 2 3 4 5 6

Chuja miundo