Orodha ya Kazi za mawakala x Mwito wa zana si sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Mwito wa zana si sahihi katika Kazi za mawakala, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Opus 5 1

Sababu za kushindwa

Jibu lisilo sahihi108 Mwito wa zana si sahihi44 Hitilafu ya API32 Hakufuata maelekezo14 Muda umeisha10

Kategoria

Mchanganyiko162 Kazi za mawakala44 Mwito wa zana11

44/44

Nafasi	Modeli	Kampuni	Idadi ya Mwito wa zana si sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#157	Ember-1 low	Fireworks	1	4.7	$1.488	0/1	121.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.488 Muda wa majibu (wastani) 121.3s
#158	Qwen3.5-122B-A10B medium	Qwen	1	6.1	$1.152	0/1	95.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.152 Muda wa majibu (wastani) 95.3s
#161	Muse Glimmer 30B low	Meta	1	6.1	$0.266	0/1	105.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.266 Muda wa majibu (wastani) 105.0s
#164	Ember-1 high	Fireworks	1	6.1	$2.405	0/1	88.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $2.405 Muda wa majibu (wastani) 88.3s
#171	Mercury 2.5 Preview medium	Inception	1	3.9	$0.037	0/1	74.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.037 Muda wa majibu (wastani) 74.6s
#175	Grok 4.7 xhigh	X AI	1	3.0	$4.054	0/1	304.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $4.054 Muda wa majibu (wastani) 304.8s
#176	Grok Build 0.1 medium	X AI	1	3.4	$1.419	0/1	69.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.419 Muda wa majibu (wastani) 69.0s
#179	Grok 4.7 high	X AI	1	3.0	$3.582	0/1	322.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $3.582 Muda wa majibu (wastani) 322.2s
#195	GLM 5.3 low	Z.ai	1	5.2	$0.473	0/1	51.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.473 Muda wa majibu (wastani) 51.3s
#199	Grok 4.3 medium	X AI	1	3.9	$0.989	0/1	51.6s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.989 Muda wa majibu (wastani) 51.6s
#200	Laguna XS 2.1 medium	Poolside	1	6.1	$0.083	0/1	66.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.083 Muda wa majibu (wastani) 66.4s
#212	LongCat 2.0 none	Meituan	1	6.1	$0.104	0/1	81.8s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.104 Muda wa majibu (wastani) 81.8s
#217	Qwen3.5 Plus 2026-04-20 none	Qwen	1	7.4	$0.226	0/1	133.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.226 Muda wa majibu (wastani) 133.3s
#225	Gemini 3.5 Flash none	Google	1	3.5	$1.778	0/1	89.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.778 Muda wa majibu (wastani) 89.3s
#226	Space Bunny Alpha xhigh	Stealth	1	5.2	$0.000	0/1	159.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 159.1s

Chuja miundo

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Kazi za mawakala: Mwito wa zana si sahihi

Chuja miundo

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa