Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

878

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi878 Hakuna jibu63 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

414/414

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#368	Laguna S 2.1 low	Poolside	3	0.3	$0.108	0/3	2.46s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.108 Muda wa majibu (wastani) 2.46s
#369	Nemotron 3.5 Lightning low	NVIDIA	3	0.4	$0.175	0/3	52.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.175 Muda wa majibu (wastani) 52.7s
#373	Ling 2.6 Flash default	Inclusionai	3	0.3	$0.002	0/3	5.20s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.002 Muda wa majibu (wastani) 5.20s
#377	Nemotron 3 Super none	NVIDIA	3	0.3	$0.016	0/3	6.78s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 6.78s
#378	KAT Coder AIR V2.5 default	Kwaipilot	3	0.3	$0.070	0/3	8.33s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.070 Muda wa majibu (wastani) 8.33s
#380	Granite 4.2 8B none	IBM Granite	3	0.3	$0.037	0/3	53.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.037 Muda wa majibu (wastani) 53.6s
#381	Cobuddy medium	Baidu	3	0.3	$0.000	0/3	128.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 128.2s
#386	gpt-oss-120b none	OpenAI	3	0.3	$0.016	0/3	35.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 35.0s
#396	Granite 4.1 8b default	IBM Granite	3	0.3	$0.007	0/3	287ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 287ms
#397	Nemotron 3.5 Lightning none	NVIDIA	3	0.3	$0.009	0/3	683ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.009 Muda wa majibu (wastani) 683ms
#402	Grok 4.20 Beta default	X AI	3	0.3	$0.087	0/3	611ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.087 Muda wa majibu (wastani) 611ms
#403	Laguna M.1 default	Poolside	3	0.4	$0.009	0/3	5.50s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.009 Muda wa majibu (wastani) 5.50s
#404	Elephant Alpha default	Openrouter	3	0.3	$0.000	0/3	927ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 927ms
#405	Elephant Alpha medium	Openrouter	3	0.3	$0.000	0/3	925ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 925ms
#412	Xing4.0 29b A4b none	Xingchen AGI	3	0.3	$0.000	0/3	5.73s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 5.73s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa