Orodha ya Kazi za mawakala x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Kazi za mawakala, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Fable 5.1 1

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Uandishi wa msimbo64 Mchanganyiko49 Mbinu za kupinga AI36 Mwito wa zana33 Kazi za mawakala32 Uchanganuzi na uchimbaji wa data32 Mahususi kwa domeni30 Utatuzi wa mafumbo25 Maarifa ya jumla18 Ufuataji wa maagizo17

32/32

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#98	Claude Fable 5.1 high	Anthropic	1	3.0	$3.471	0/1	6.93s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $3.471 Muda wa majibu (wastani) 6.93s
#128	Inkling Small high	Thinkingmachines	1	3.0	$0.402	0/1	23ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.402 Muda wa majibu (wastani) 23ms
#133	Claude Fable 5.1 medium	Anthropic	1	3.0	$3.197	0/1	16.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $3.197 Muda wa majibu (wastani) 16.2s
#153	GPT-5.2 Chat none	OpenAI	1	3.0	$0.594	0/1	955ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.594 Muda wa majibu (wastani) 955ms
#182	GPT 5.3 Chat none	OpenAI	1	3.0	$0.533	0/1	955ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.533 Muda wa majibu (wastani) 955ms
#190	KAT-Coder-Pro V2.5 low	Kwaipilot	1	3.0	$0.400	0/1	1.75s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.400 Muda wa majibu (wastani) 1.75s
#198	KAT-Coder-Pro V2.5 high	Kwaipilot	1	3.0	$0.506	0/1	1.52s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.506 Muda wa majibu (wastani) 1.52s
#227	KAT-Coder-Pro V2.5 medium	Kwaipilot	1	3.0	$0.478	0/1	3.38s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.478 Muda wa majibu (wastani) 3.38s
#231	Claude Fable 5.1 low	Anthropic	1	2.8	$3.395	0/1	34.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $3.395 Muda wa majibu (wastani) 34.8s
#236	KAT-Coder-Pro V2.5 none	Kwaipilot	1	3.0	$0.487	0/1	1.90s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.487 Muda wa majibu (wastani) 1.90s
#240	Inkling Small medium	Thinkingmachines	1	3.0	$0.118	0/1	49ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.118 Muda wa majibu (wastani) 49ms
#251	Ling 3.0 Flash high	Inclusionai	1	3.0	$0.000	0/1	42ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 42ms
#252	Ring 2.6 1t medium	Inclusionai	1	3.0	$0.072	0/1	21ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.072 Muda wa majibu (wastani) 21ms
#274	Hy4 preview low	Tencent	1	4.7	$1.670	0/1	52.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.670 Muda wa majibu (wastani) 52.4s
#285	Inkling Small low	Thinkingmachines	1	3.0	$0.059	0/1	24ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.059 Muda wa majibu (wastani) 24ms

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Hitilafu ya API

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa