Orodha ya Mahususi kwa domeni x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Muse Spark 1.1 1

Sababu za kushindwa

Jibu lisilo sahihi654 Muda umeisha41 Hakuna jibu35 Muundo wa ziada23 Hitilafu ya API17 Hakufuata maelekezo2

Kategoria

Uandishi wa msimbo56 Mchanganyiko37 Mwito wa zana25 Mbinu za kupinga AI20 Mahususi kwa domeni17 Uchanganuzi na uchimbaji wa data17 Utatuzi wa mafumbo15 Akili ya jumla14 Maarifa ya jumla14 Ufuataji wa maagizo2

17/17

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#60	Muse Spark 1.1 high	Meta	1	2.9	$2.253	0/3	94.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $2.253 Muda wa majibu (wastani) 94.7s
#67	GPT-5.2 Chat none	OpenAI	1	3.0	$0.594	0/3	23.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.594 Muda wa majibu (wastani) 23.7s
#93	GPT 5.3 Chat none	OpenAI	1	2.9	$0.533	0/3	12.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.533 Muda wa majibu (wastani) 12.7s
#152	LongCat 2.0 low	Meituan	1	2.9	$0.412	0/3	183.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.412 Muda wa majibu (wastani) 183.6s
#174	Ling-3.0-flash high	Inclusionai	1	3.0	$0.021	0/3	30.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.021 Muda wa majibu (wastani) 30.3s
#193	Nemotron 3 Ultra none	NVIDIA	1	5.3	$0.084	1/3	758ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.084 Muda wa majibu (wastani) 758ms
#215	Ling-3.0-flash none	Inclusionai	1	3.0	$0.004	0/3	840ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.004 Muda wa majibu (wastani) 840ms
#228	Hy4 preview low	Tencent	1	4.5	$1.745	0/3	470.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.745 Muda wa majibu (wastani) 470.2s
#235	KAT-Coder-Air V2.5 low	Kwaipilot	1	3.0	$0.046	0/3	8.91s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.046 Muda wa majibu (wastani) 8.91s
#264	Qwen3.6 Plus Preview medium	Qwen	1	3.0	$0.000	0/3	22.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 22.1s
#268	Hy4 preview none	Tencent	1	6.8	$0.041	1/3	25.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.041 Muda wa majibu (wastani) 25.6s
#295	Hy3 preview none	Tencent	1	3.6	$0.007	0/3	17.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 17.6s
#297	Ling 3.0 Tiny none	Inclusionai	1	3.0	$0.000	0/3	880ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 880ms
#301	Ling 3.0 Tiny high	Inclusionai	1	2.9	$0.000	0/3	70.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 70.1s
#302	Ling 3.0 Tiny low	Inclusionai	1	3.0	$0.000	0/3	72.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 72.1s

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Hitilafu ya API

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa