Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

654

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi654 Muda umeisha41 Hakuna jibu35 Muundo wa ziada23 Hitilafu ya API17 Hakufuata maelekezo2

Kategoria

Mahususi kwa domeni654 Mbinu za kupinga AI386 Uandishi wa msimbo361 Utatuzi wa mafumbo275 Maarifa ya jumla244 Mchanganyiko95 Akili ya jumla90 Ufuataji wa maagizo82 Uchanganuzi na uchimbaji wa data66 Mwito wa zana5

299/299

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#173	MiMo-V2.5 medium	Xiaomi	1	3.6	$0.104	0/3	137.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.104 Muda wa majibu (wastani) 137.7s
#176	Mimo V2 PRO medium	Xiaomi	1	5.3	$0.333	1/3	8.82s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.333 Muda wa majibu (wastani) 8.82s
#183	Qwen3.5-35B-A3B medium	Qwen	1	3.5	$1.140	0/3	76.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.140 Muda wa majibu (wastani) 76.4s
#193	Nemotron 3 Ultra none	NVIDIA	1	5.3	$0.084	1/3	758ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.084 Muda wa majibu (wastani) 758ms
#204	Mimo V2 Omni medium	Xiaomi	1	3.0	$0.683	0/3	47.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.683 Muda wa majibu (wastani) 47.9s
#208	Seed 2.1 Turbo none	Bytedance Seed	1	7.7	$0.092	2/3	1.36s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.092 Muda wa majibu (wastani) 1.36s
#220	KAT-Coder-Air V2.5 high	Kwaipilot	1	3.0	$0.077	0/3	7.28s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.077 Muda wa majibu (wastani) 7.28s
#229	Qwen3.6 27B none	Qwen	1	7.7	$0.116	2/3	2.79s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.116 Muda wa majibu (wastani) 2.79s
#231	Qwen3.8 27B none	Qwen	1	7.7	~$0.006	2/3	552ms
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama ~$0.006 Muda wa majibu (wastani) 552ms
#259	MiniMax M2.7 medium	Minimax	1	3.0	$0.208	0/3	39.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.208 Muda wa majibu (wastani) 39.7s
#268	Hy4 preview none	Tencent	1	6.8	$0.041	1/3	25.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.041 Muda wa majibu (wastani) 25.6s
#277	Hunter Alpha medium	OpenRouter	1	3.0	$0.000	0/3	10.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 10.5s
#278	Grok 4.1 Fast medium	X AI	1	5.8	$0.069	1/3	121.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.069 Muda wa majibu (wastani) 121.8s
#311	LFM2-24B-A2B none	Liquid	1	5.9	$0.001	1/3	287ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.001 Muda wa majibu (wastani) 287ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa