Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

878

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi878 Hakuna jibu63 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

414/414

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#137	Qwen3.7 Flash low	Qwen	3	0.4	$0.071	0/3	37.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.071 Muda wa majibu (wastani) 37.6s
#138	Muse Glimmer 30B medium	Meta	3	0.3	$0.288	0/3	44.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.288 Muda wa majibu (wastani) 44.6s
#140	Qwen3.8 Flash Next medium	Qwen	3	0.3	~$0.047	0/3	17.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama ~$0.047 Muda wa majibu (wastani) 17.3s
#146	Mistral Large 4 high	Mistral	3	0.3	$1.391	0/3	289.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.391 Muda wa majibu (wastani) 289.4s
#148	GPT-5.6 Luna medium	OpenAI	3	0.3	$0.065	0/3	18.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.065 Muda wa majibu (wastani) 18.5s
#149	Qwen3.6 Flash medium	Qwen	3	0.3	$0.783	0/3	17.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.783 Muda wa majibu (wastani) 17.0s
#150	DeepSeek V4 Flash 0731 low	DeepSeek	3	0.3	$0.306	0/3	255.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.306 Muda wa majibu (wastani) 255.5s
#152	GLM 5.3 FlashX high	Z.ai	3	0.4	$0.210	0/3	50.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.210 Muda wa majibu (wastani) 50.0s
#155	DeepSeek V4 Pro 0423 none	DeepSeek	3	0.3	$0.083	0/3	4.91s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.083 Muda wa majibu (wastani) 4.91s
#163	Qwen3.6 Plus medium	Qwen	3	0.3	$0.554	0/3	46.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.554 Muda wa majibu (wastani) 46.4s
#164	Gemini 3.5 Flash Lite medium	Google	3	0.4	$0.440	0/3	5.34s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.440 Muda wa majibu (wastani) 5.34s
#170	Qwen3.7 Flash high	Qwen	3	0.3	$0.063	0/3	34.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.063 Muda wa majibu (wastani) 34.4s
#173	Step 3.7 Flash low	Stepfun	3	0.3	$0.449	0/3	22.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.449 Muda wa majibu (wastani) 22.7s
#176	Qwen3.8 Flash Next xhigh	Qwen	3	0.3	~$0.195	0/3	327.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama ~$0.195 Muda wa majibu (wastani) 327.0s
#177	GLM 5.3 FlashX medium	Z.ai	3	0.4	$0.114	0/3	3.52s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.114 Muda wa majibu (wastani) 3.52s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.4752 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.046984.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa