Orodha ya Mchanganyiko x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Mchanganyiko, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Mwito wa zana si sahihi147 Jibu lisilo sahihi95 Hakuna jibu43 Hitilafu ya API37 Muda umeisha9 Hakufuata maelekezo1 Muundo wa ziada1

Kategoria

Uandishi wa msimbo56 Mchanganyiko37 Mwito wa zana25 Mbinu za kupinga AI20 Mahususi kwa domeni17 Uchanganuzi na uchimbaji wa data17 Utatuzi wa mafumbo15 Akili ya jumla14 Maarifa ya jumla14 Ufuataji wa maagizo2

33/33

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#309	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	1	1.5	$0.000	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 0ms
#310	Step 3.5 Flash none	Stepfun	1	1.5	$0.020	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.020 Muda wa majibu (wastani) 0ms
#311	LFM2-24B-A2B none	Liquid	1	1.5	$0.001	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.001 Muda wa majibu (wastani) 0ms

Chuja miundo