Orodha ya Uandishi wa msimbo x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Nemotron 3 Super 3

Sababu za kushindwa

Jibu lisilo sahihi456 Hitilafu ya API64 Hakufuata maelekezo41 Hakuna jibu41 Muundo wa ziada36 Muda umeisha24

Kategoria

Uandishi wa msimbo64 Mchanganyiko49 Mbinu za kupinga AI36 Mwito wa zana33 Kazi za mawakala32 Uchanganuzi na uchimbaji wa data32 Mahususi kwa domeni30 Utatuzi wa mafumbo25 Maarifa ya jumla18 Ufuataji wa maagizo17

39/39

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#281	Nemotron 3 Super medium	NVIDIA	3	0.3	$0.081	0/3	147.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.081 Muda wa majibu (wastani) 147.3s
#325	Gemini 3 PRO Preview medium	Google	3	0.3	$0.385	0/3	0ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.385 Muda wa majibu (wastani) 0ms
#382	Command A+ medium	Cohere	3	0.3	$0.064	0/3	93.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.064 Muda wa majibu (wastani) 93.1s
#387	Command A+ high	Cohere	3	0.3	$0.079	0/3	92.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.079 Muda wa majibu (wastani) 92.7s
#390	Command A+ none	Cohere	3	0.3	$0.000	0/3	80.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 80.8s
#391	Command A+ low	Cohere	3	0.3	$0.073	0/3	86.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.073 Muda wa majibu (wastani) 86.4s
#192	Ember-1 max	Fireworks	2	0.5	$3.264	1/3	105.1s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $3.264 Muda wa majibu (wastani) 105.1s
#235	Trinity Large Thinking low	Arcee AI	2	0.5	$0.918	1/3	344.4s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.918 Muda wa majibu (wastani) 344.4s
#268	Ring 2.6 1t medium	Inclusionai	2	0.5	$0.102	1/3	59.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.102 Muda wa majibu (wastani) 59.6s
#296	Hy3 preview medium	Tencent	2	0.5	$0.049	1/3	31.4s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.049 Muda wa majibu (wastani) 31.4s
#326	Ling 2.6 1t default	Inclusionai	2	0.4	$0.016	0/3	10.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 10.6s
#331	Hy3 preview high	Tencent	2	0.5	$0.135	1/3	99.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.135 Muda wa majibu (wastani) 99.8s
#348	Ling 2.6 Flash default	Inclusionai	2	0.5	$0.002	1/3	11.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.002 Muda wa majibu (wastani) 11.2s
#349	Hy3 preview low	Tencent	2	0.5	$0.042	1/3	27.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.042 Muda wa majibu (wastani) 27.9s
#350	Ring 2.6 1t default	Inclusionai	2	0.5	$0.026	1/3	143.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.026 Muda wa majibu (wastani) 143.8s

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Hitilafu ya API

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa