Orodha ya Uandishi wa msimbo x Hitilafu ya API

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3 PRO Preview 1

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Uchanganuzi na uchimbaji wa data10 Mwito wa zana6 Uandishi wa msimbo6 Mchanganyiko5 Mahususi kwa domeni3 Utatuzi wa mafumbo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#19	Gemini 3 PRO Preview medium	Google	1	3.0	0/2	0ms
#32	Step 3.5 Flash none	Stepfun	1	3.0	0/1	0ms
#75	Hunter Alpha medium	OpenRouter	1	3.0	0/1	0ms
#108	Hunter Alpha none	OpenRouter	1	3.0	0/1	0ms
#96	Nemotron 3 Super medium	NVIDIA	1	3.1	0/2	62.4s
#33	Qwen3.6 Plus medium	Qwen	1	4.1	0/2	201.7s

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Hitilafu ya API

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa