Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

412

Modeli iliyoathirika zaidi

Claude Sonnet 4.6 1

Sababu za kushindwa

Jibu lisilo sahihi412 Muda umeisha43 Muundo wa ziada17 Hakuna jibu8 Hitilafu ya API7 Hakufuata maelekezo1

Kategoria

Mahususi kwa domeni412 Mbinu za kupinga AI293 Uandishi wa msimbo252 Utatuzi wa mafumbo201 Maarifa ya jumla168 Mchanganyiko68 Ufuataji wa maagizo61 Akili ya jumla59 Uchanganuzi na uchimbaji wa data41 Mwito wa zana3

198/198

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#40	Claude Sonnet 4.6 medium	Anthropic	1	2.9	$2.057	0/3	0ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $2.057 Muda wa majibu (wastani) 0ms
#42	GLM 5 medium	Z.ai	2	3.5	$0.307	0/3	0ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.307 Muda wa majibu (wastani) 0ms
#210	LFM2-24B-A2B none	Liquid	1	5.9	$0.001	1/3	287ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.001 Muda wa majibu (wastani) 287ms
#201	Granite 4.1 8B none	IBM Granite	3	3.0	$0.007	0/3	357ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 357ms
#160	Laguna XS 2.1 none	Poolside	2	5.3	$0.008	1/3	364ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 364ms
#165	Mistral Small 4 none	Mistral	2	5.3	$0.022	1/3	367ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.022 Muda wa majibu (wastani) 367ms
#205	Laguna Xs.2 none	Poolside	2	5.3	$0.004	1/3	371ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.004 Muda wa majibu (wastani) 371ms
#169	Qwen3.5-9B none	Qwen	3	3.0	$0.021	0/3	464ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.021 Muda wa majibu (wastani) 464ms
#142	Qwen3.5-122B-A10B none	Qwen	2	5.3	$0.247	1/3	465ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.247 Muda wa majibu (wastani) 465ms
#127	Qwen3.5-35B-A3B none	Qwen	1	7.7	$0.106	2/3	485ms
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.106 Muda wa majibu (wastani) 485ms
#208	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	3	3.6	$0.000	0/3	489ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 489ms
#118	Gemini 2.5 Flash none	Google	2	5.9	$0.017	1/3	495ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.017 Muda wa majibu (wastani) 495ms
#189	Mercury 2 none	Inception	2	5.3	$0.030	1/3	534ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.030 Muda wa majibu (wastani) 534ms
#103	Qwen3.5-27B none	Qwen	3	3.0	$0.090	0/3	540ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.090 Muda wa majibu (wastani) 540ms
#200	MiMo-V2-Flash none	Xiaomi	2	5.3	$0.025	1/3	564ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.025 Muda wa majibu (wastani) 564ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa