Orodha ya Uchanganuzi na uchimbaji wa data x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Uchanganuzi na uchimbaji wa data, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Nemotron 3.5 Lightning 1

Sababu za kushindwa

Jibu lisilo sahihi66 Hitilafu ya API17 Hakuna jibu9 Muundo wa ziada8 Hakufuata maelekezo7 Muda umeisha2

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

7/7

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#299	Nemotron 3.5 Lightning none	NVIDIA	1	6.5	$0.007	1/2	633ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.007 Muda wa majibu (wastani) 633ms
#297	Ling 3.0 Tiny none	Inclusionai	1	6.3	$0.000	1/2	1.14s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.14s
#305	Ling 3.0 Tiny medium	Inclusionai	1	2.7	$0.000	0/2	4.41s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 4.41s
#302	Ling 3.0 Tiny low	Inclusionai	1	2.8	$0.000	0/2	4.82s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 4.82s
#227	Nemotron 3.5 Lightning high	NVIDIA	1	7.3	$0.134	1/2	14.0s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.134 Muda wa majibu (wastani) 14.0s
#250	Nemotron 3.5 Lightning medium	NVIDIA	1	3.7	$0.156	0/2	23.2s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.156 Muda wa majibu (wastani) 23.2s
#270	Nemotron 3.5 Lightning low	NVIDIA	1	2.9	$0.140	0/2	31.3s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.140 Muda wa majibu (wastani) 31.3s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uchanganuzi na uchimbaji wa data: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa