Orodha ya Kazi za mawakala x Muda umeisha

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Muda umeisha katika Kazi za mawakala, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Mahususi kwa domeni43 Uandishi wa msimbo23 Utatuzi wa mafumbo11 Kazi za mawakala10 Mchanganyiko9 Mbinu za kupinga AI6 Ufuataji wa maagizo5 Akili ya jumla4 Uchanganuzi na uchimbaji wa data2 Maarifa ya jumla1

10/10

Nafasi	Modeli	Kampuni	Idadi ya Muda umeisha	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#71	Gemini 3.1 Pro Preview medium	Google	1	4.7	$1.585	0/1	56.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.585 Muda wa majibu (wastani) 56.2s
#94	Gemini 3.8 Flash medium	Google	1	2.8	$0.769	0/1	63.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.769 Muda wa majibu (wastani) 63.7s
#193	Mercury 2.5 Preview high	Inception	1	6.1	$0.039	0/1	86.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.039 Muda wa majibu (wastani) 86.8s
#206	Kimi K2.5 medium	Moonshot AI	1	3.9	$0.603	0/1	566.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.603 Muda wa majibu (wastani) 566.8s
#207	Mercury 2.5 medium	Inception	1	4.7	$0.034	0/1	107.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.034 Muda wa majibu (wastani) 107.9s
#287	Nemotron 3.5 Lightning high	NVIDIA	1	3.5	$0.111	0/1	491.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.111 Muda wa majibu (wastani) 491.0s
#315	Nemotron 3.5 Lightning medium	NVIDIA	1	2.8	$0.129	0/1	341.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.129 Muda wa majibu (wastani) 341.8s
#325	Nemotron 3.5 Lightning low	NVIDIA	1	3.5	$0.117	0/1	597.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.117 Muda wa majibu (wastani) 597.6s
#340	MiniMax M2.5 medium	Minimax	1	3.0	$0.359	0/1	600.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.359 Muda wa majibu (wastani) 600.8s
#353	Nemotron 3.5 Lightning none	NVIDIA	1	3.0	$0.007	0/1	339.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.007 Muda wa majibu (wastani) 339.6s

Chuja miundo

Modeli bora kwa Idadi ya Muda umeisha

Idadi ya Muda umeisha dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Muda umeisha

Chuja miundo

Modeli bora kwa Idadi ya Muda umeisha

Idadi ya Muda umeisha dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa