Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

878

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi878 Hakuna jibu63 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

414/414

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#273	KAT-Coder-Pro V2.5 default	Kwaipilot	3	0.4	$0.742	0/3	24.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.742 Muda wa majibu (wastani) 24.9s
#274	Apodex 1.1 Mini medium	Apodex	3	0.4	$0.000	0/3	63.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 63.7s
#276	GLM 5.3 FlashX low	Z.ai	3	0.3	$0.157	0/3	3.87s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.157 Muda wa majibu (wastani) 3.87s
#278	Inkling Small medium	Thinkingmachines	3	0.3	$0.113	0/3	7.65s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.113 Muda wa majibu (wastani) 7.65s
#279	Seed-2.0-Lite none	Bytedance Seed	3	0.3	$0.114	0/3	1.12s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.114 Muda wa majibu (wastani) 1.12s
#280	Gemini 3.1 Flash Lite minimal	Google	3	0.3	$0.080	0/3	972ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.080 Muda wa majibu (wastani) 972ms
#281	gpt-oss-120b medium	OpenAI	3	0.3	$0.030	0/3	27.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.030 Muda wa majibu (wastani) 27.6s
#282	Gemini 3.1 Flash Lite none	Google	3	0.3	$0.069	0/3	701ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.069 Muda wa majibu (wastani) 701ms
#284	Claude Sonnet 5 none	Anthropic	3	0.3	$1.095	0/3	3.32s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.095 Muda wa majibu (wastani) 3.32s
#287	Qwen3.8 Flash Next none	Qwen	3	0.3	~$0.011	0/3	5.38s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama ~$0.011 Muda wa majibu (wastani) 5.38s
#291	Ring 2.6 1t medium	Inclusionai	3	0.4	$0.102	0/3	65.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.102 Muda wa majibu (wastani) 65.3s
#292	Trinity Large Thinking high	Arcee AI	3	0.3	$0.794	0/3	66.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.794 Muda wa majibu (wastani) 66.9s
#294	GPT-5.4 Mini none	OpenAI	3	0.4	$0.170	0/3	1.31s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.170 Muda wa majibu (wastani) 1.31s
#295	Mistral Large 4 none	Mistral	3	0.3	$0.290	0/3	1.61s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.290 Muda wa majibu (wastani) 1.61s
#297	Dots 3 Note Preview medium	Dots Studio	3	0.4	$0.000	0/3	47.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 47.5s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.1095 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.010823.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa