Orodha ya Mchanganyiko x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Mchanganyiko, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Mwito wa zana si sahihi91 Jibu lisilo sahihi68 Hakuna jibu29 Hitilafu ya API26 Muda umeisha5 Hakufuata maelekezo1 Muundo wa ziada1

Kategoria

Uandishi wa msimbo45 Mchanganyiko26 Mwito wa zana17 Mbinu za kupinga AI14 Uchanganuzi na uchimbaji wa data14 Maarifa ya jumla13 Akili ya jumla12 Utatuzi wa mafumbo12 Mahususi kwa domeni7 Ufuataji wa maagizo1

24/24

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#79	Gemini 3.5 Flash none	Google	2	3.0	$1.079	0/2	0ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $1.079 Muda wa majibu (wastani) 0ms
#179	Ring-2.6-1T none	Inclusionai	2	3.0	$0.026	0/2	0ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.026 Muda wa majibu (wastani) 0ms
#33	Kimi K3 max	Moonshot AI	1	6.5	$3.112	1/2	223.0s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $3.112 Muda wa majibu (wastani) 223.0s
#60	LongCat 2.0 medium	Meituan	1	7.3	$0.478	1/2	151.0s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.478 Muda wa majibu (wastani) 151.0s
#62	KAT-Coder-Pro V2.5 low	Kwaipilot	1	6.4	$0.387	1/2	111.9s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.387 Muda wa majibu (wastani) 111.9s
#81	KAT-Coder-Pro V2.5 medium	Kwaipilot	1	6.4	$0.467	1/2	135.7s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.467 Muda wa majibu (wastani) 135.7s
#90	Qwen3.6 35B A3B medium	Qwen	1	3.0	$0.746	0/2	817.6s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.746 Muda wa majibu (wastani) 817.6s
#110	Gemma 4 31B medium	Google	1	2.9	$0.163	0/2	433.1s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.163 Muda wa majibu (wastani) 433.1s
#115	Gemma 4 31B none	Google	1	3.8	$0.035	0/2	30.0s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.035 Muda wa majibu (wastani) 30.0s
#129	Nemotron 3 Ultra none	NVIDIA	1	3.0	$0.095	0/2	21.1s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.095 Muda wa majibu (wastani) 21.1s
#130	Step 3.5 Flash medium	Stepfun	1	6.5	$0.108	1/2	813.7s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.108 Muda wa majibu (wastani) 813.7s
#140	Nemotron 3 Super medium	NVIDIA	1	6.4	$0.050	1/2	259.9s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.050 Muda wa majibu (wastani) 259.9s
#144	KAT-Coder-Air V2.5 high	Kwaipilot	1	6.5	$0.077	1/2	74.5s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.077 Muda wa majibu (wastani) 74.5s
#149	KAT-Coder-Air V2.5 medium	Kwaipilot	1	6.5	$0.048	1/2	19.6s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.048 Muda wa majibu (wastani) 19.6s
#158	KAT-Coder-Air V2.5 low	Kwaipilot	1	6.4	$0.041	1/2	55.9s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.041 Muda wa majibu (wastani) 55.9s

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mchanganyiko: Hitilafu ya API

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa