Orodha ya Kazi za mawakala x Mwito wa zana si sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Mwito wa zana si sahihi katika Kazi za mawakala, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Opus 5 1

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Mchanganyiko162 Kazi za mawakala44 Mwito wa zana11

44/44

Nafasi	Modeli	Kampuni	Idadi ya Mwito wa zana si sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#239	MiMo-V2.6-Pro none	Xiaomi	1	5.0	$0.193	0/1	66.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.193 Muda wa majibu (wastani) 66.1s
#250	DeepSeek V4.1 Flash none	DeepSeek	1	7.4	$0.123	0/1	55.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.123 Muda wa majibu (wastani) 55.8s
#261	Solar Pro 4 none	Upstage	1	5.0	$0.033	0/1	69.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.033 Muda wa majibu (wastani) 69.2s
#267	GPT-6 Luna none	OpenAI	1	5.0	$0.026	0/1	51.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.026 Muda wa majibu (wastani) 51.1s
#283	Laguna XS 2.1 none	Poolside	1	5.0	$0.019	0/1	70.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.019 Muda wa majibu (wastani) 70.8s
#284	Qwen3.6 35B A3B none	Qwen	1	5.2	$0.105	0/1	65.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.105 Muda wa majibu (wastani) 65.6s
#293	Mercury 2.5 low	Inception	1	5.0	$0.020	0/1	47.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.020 Muda wa majibu (wastani) 47.1s
#295	MiMo-V2.5-Pro none	Xiaomi	1	3.9	$0.157	0/1	49.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.157 Muda wa majibu (wastani) 49.6s
#298	MiniMax M2.7 medium	Minimax	1	4.7	$0.202	0/1	198.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.202 Muda wa majibu (wastani) 198.8s
#308	MiMo-V2.5 none	Xiaomi	1	3.9	$0.063	0/1	124.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.063 Muda wa majibu (wastani) 124.2s
#310	Hy4 preview none	Tencent	1	5.0	$0.161	0/1	65.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.161 Muda wa majibu (wastani) 65.5s
#314	Mercury 2.5 Preview none	Inception	1	3.9	$0.023	0/1	85.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.023 Muda wa majibu (wastani) 85.0s
#336	Granite 4.2 8B none	IBM Granite	1	5.0	$0.047	0/1	49.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.047 Muda wa majibu (wastani) 49.2s
#346	Qwen3.5-9B medium	Qwen	1	5.2	$0.106	0/1	152.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.106 Muda wa majibu (wastani) 152.9s

Chuja miundo

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Mwito wa zana si sahihi

Chuja miundo

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa