Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

893

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi893 Hakuna jibu66 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni893 Mbinu za kupinga AI519 Uandishi wa msimbo484 Utatuzi wa mafumbo352 Maarifa ya jumla315 Akili ya jumla134 Kazi za mawakala128 Mchanganyiko128 Ufuataji wa maagizo117 Uchanganuzi na uchimbaji wa data93

423/423

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#99	Gemini 4 Argon low	Google	2	0.5	$0.438	1/3	1.94s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.438 Muda wa majibu (wastani) 1.94s
#101	Grok 4.5 high	X AI	2	0.4	$2.687	0/3	301.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $2.687 Muda wa majibu (wastani) 301.3s
#103	GPT-5.6 Terra medium	OpenAI	2	0.5	$0.483	1/3	21.5s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.483 Muda wa majibu (wastani) 21.5s
#110	GPT-5.6 Luna high	OpenAI	2	0.5	$0.118	1/3	62.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.118 Muda wa majibu (wastani) 62.9s
#112	GPT-5.4 Nano medium	OpenAI	2	0.6	$0.235	1/3	38.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.235 Muda wa majibu (wastani) 38.7s
#115	GPT-5.6 Terra low	OpenAI	2	0.5	$0.435	1/3	9.34s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.435 Muda wa majibu (wastani) 9.34s
#121	Gemini 3.5 Flash medium	Google	2	0.5	$1.316	1/3	7.28s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.316 Muda wa majibu (wastani) 7.28s
#126	DeepSeek V4.1 Flash 1017 high	DeepSeek	2	0.3	$0.589	0/3	186.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.589 Muda wa majibu (wastani) 186.0s
#127	Grok 4.5 medium	X AI	2	0.5	$2.996	1/3	249.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.996 Muda wa majibu (wastani) 249.3s
#129	Step 3.7 Flash medium	Stepfun	2	0.5	$0.571	1/3	27.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.571 Muda wa majibu (wastani) 27.3s
#130	Grok 4.6 medium	X AI	2	0.5	$2.270	1/3	304.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.270 Muda wa majibu (wastani) 304.3s
#131	Qwen3.7 Plus none	Qwen	2	0.5	$0.178	1/3	1.04s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.178 Muda wa majibu (wastani) 1.04s
#135	GPT-6 Luna high	OpenAI	2	0.6	$0.074	1/3	51.1s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.074 Muda wa majibu (wastani) 51.1s
#136	Muse Glimmer 30B high	Meta	2	0.3	$0.506	0/3	182.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.506 Muda wa majibu (wastani) 182.6s
#137	Nemotron 3.5 Super VL medium	NVIDIA	2	0.4	$0.437	0/3	196.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.437 Muda wa majibu (wastani) 196.7s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa