Orodha ya Kazi za mawakala x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Kazi za mawakala, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Fable 5.1 1

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Uandishi wa msimbo64 Mchanganyiko49 Mbinu za kupinga AI36 Mwito wa zana33 Kazi za mawakala32 Uchanganuzi na uchimbaji wa data32 Mahususi kwa domeni30 Utatuzi wa mafumbo25 Maarifa ya jumla18 Ufuataji wa maagizo17

32/32

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#286	Ling 3.0 Flash none	Inclusionai	1	3.0	$0.000	0/1	26ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 26ms
#288	KAT Coder AIR V2.5 high	Kwaipilot	1	3.0	$0.077	0/1	1.10s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.077 Muda wa majibu (wastani) 1.10s
#294	KAT Coder AIR V2.5 medium	Kwaipilot	1	3.0	$0.048	0/1	1.05s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.048 Muda wa majibu (wastani) 1.05s
#301	KAT Coder AIR V2.5 low	Kwaipilot	1	3.0	$0.046	0/1	1.08s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.046 Muda wa majibu (wastani) 1.08s
#303	Inkling Small none	Thinkingmachines	1	3.0	$0.058	0/1	31ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.058 Muda wa majibu (wastani) 31ms
#307	Ling 2.6 1t none	Inclusionai	1	3.0	$0.012	0/1	38ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.012 Muda wa majibu (wastani) 38ms
#329	Ling 2.6 Flash none	Inclusionai	1	3.0	$0.002	0/1	32ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.002 Muda wa majibu (wastani) 32ms
#331	Ring 2.6 1t none	Inclusionai	1	3.0	$0.004	0/1	19ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.004 Muda wa majibu (wastani) 19ms
#334	KAT Coder AIR V2.5 none	Kwaipilot	1	3.0	$0.070	0/1	1.07s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.070 Muda wa majibu (wastani) 1.07s
#335	Trinity Large Preview none	Arcee AI	1	3.0	$0.001	0/1	88ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.001 Muda wa majibu (wastani) 88ms
#337	Cobuddy medium	Baidu	1	3.0	$0.000	0/1	173ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 173ms
#351	Ling 3.0 Tiny none	Inclusionai	1	3.0	$0.000	0/1	23ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 23ms
#352	Granite 4.1 8b none	IBM Granite	1	3.0	$0.007	0/1	60ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.007 Muda wa majibu (wastani) 60ms
#354	Ling 3.0 Tiny high	Inclusionai	1	3.0	$0.000	0/1	28ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 28ms
#355	Ling 3.0 Tiny low	Inclusionai	1	3.0	$0.000	0/1	21ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 21ms

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Hitilafu ya API

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa