Orodha ya Kazi za mawakala x Mwito wa zana si sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Mwito wa zana si sahihi katika Kazi za mawakala, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Opus 5 1

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Mchanganyiko162 Kazi za mawakala44 Mwito wa zana11

44/44

Nafasi	Modeli	Kampuni	Idadi ya Mwito wa zana si sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#46	Claude Opus 5 medium	Anthropic	1	7.4	$2.896	0/1	87.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $2.896 Muda wa majibu (wastani) 87.6s
#52	Gemini 3.7 Flash low	Google	1	6.4	$0.293	0/1	62.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.293 Muda wa majibu (wastani) 62.6s
#61	Qwen3.8 Max (0902) low	Qwen	1	6.1	$1.131	0/1	136.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.131 Muda wa majibu (wastani) 136.0s
#67	Gemini 3.5 Flash high	Google	1	4.1	$2.672	0/1	84.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $2.672 Muda wa majibu (wastani) 84.7s
#85	Claude Sonnet 5.5 high	Anthropic	1	7.4	$1.197	0/1	53.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.197 Muda wa majibu (wastani) 53.6s
#87	Claude Opus 4.7 medium	Anthropic	1	5.2	$3.636	0/1	150.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $3.636 Muda wa majibu (wastani) 150.6s
#89	Gemini 3.5 Flash medium	Google	1	3.8	$1.308	0/1	83.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.308 Muda wa majibu (wastani) 83.6s
#97	GLM 5.3 FlashX max	Z.ai	1	6.1	$0.623	0/1	104.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.623 Muda wa majibu (wastani) 104.8s
#106	GPT-6 Luna medium	OpenAI	1	7.4	$0.048	0/1	71.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.048 Muda wa majibu (wastani) 71.7s
#110	GPT-6 Luna high	OpenAI	1	5.2	$0.074	0/1	82.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.074 Muda wa majibu (wastani) 82.8s
#121	GPT-5.4 Mini medium	OpenAI	1	7.4	$0.965	0/1	84.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.965 Muda wa majibu (wastani) 84.3s
#122	GPT-5.6 Luna medium	OpenAI	1	7.4	$0.101	0/1	58.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.101 Muda wa majibu (wastani) 58.1s
#130	Inkling medium	Thinkingmachines	1	4.7	$0.540	0/1	45.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.540 Muda wa majibu (wastani) 45.9s
#138	Gemini 3.5 Flash Lite medium	Google	1	4.7	$0.440	0/1	86.9s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.440 Muda wa majibu (wastani) 86.9s
#146	Step 3.7 Flash low	Stepfun	1	7.4	$0.449	0/1	83.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.449 Muda wa majibu (wastani) 83.6s

Chuja miundo

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Mwito wa zana si sahihi

Chuja miundo

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa