Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

878

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi878 Hakuna jibu63 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

414/414

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#419	Span-02 default	Respan	2	0.5	$0.001	1/3	1.24s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.001 Muda wa majibu (wastani) 1.24s
#420	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	2	0.3	$0.000	0/3	56.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 56.7s
#421	d1-ultra default	Liquid	2	0.5	$0.003	1/3	576ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.003 Muda wa majibu (wastani) 576ms
#425	Decider V1.1 27B default	Perplexity	2	0.5	$0.002	1/3	313ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.002 Muda wa majibu (wastani) 313ms
#426	Drex v1.5 default	Nace AI	2	0.5	$0.002	1/3	1.09s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.002 Muda wa majibu (wastani) 1.09s
#427	GPT-6 Luna Decisions default	OpenAI	2	0.5	$0.005	1/3	554ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.005 Muda wa majibu (wastani) 554ms
#428	Kev 4B default	Jaredpalmer	2	0.5	$0.002	1/3	6.34s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.002 Muda wa majibu (wastani) 6.34s
#430	Classify-1 default	Scaledown	2	0.5	$0.008	1/3	1.54s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 1.54s
#432	Decider Flash V1.2 default	Perplexity	2	0.5	$0.001	1/3	527ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.001 Muda wa majibu (wastani) 527ms
#441	Nimble v3 9B default	Bespoke Labs	2	0.2	~$0.001	0/2	80ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama ~$0.001 Muda wa majibu (wastani) 80ms
#1	Gemini 3.6 Flash high	Google	1	0.8	$0.900	2/3	33.3s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.900 Muda wa majibu (wastani) 33.3s
#3	GPT-6 Sol high	OpenAI	1	0.8	$0.921	2/3	62.9s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.921 Muda wa majibu (wastani) 62.9s
#6	GPT-6.1 Sol xhigh	OpenAI	1	0.8	$1.377	2/3	177.3s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.377 Muda wa majibu (wastani) 177.3s
#7	GPT-6 Astra high	OpenAI	1	0.8	$4.458	2/3	95.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $4.458 Muda wa majibu (wastani) 95.1s
#8	GPT-6 Astra xhigh	OpenAI	1	0.8	$6.213	2/3	147.0s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $6.213 Muda wa majibu (wastani) 147.0s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa