Orodha ya Mbinu za kupinga AI x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mbinu za kupinga AI, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

502

Modeli iliyoathirika zaidi

Qwen3.5-Flash 4

Sababu za kushindwa

Jibu lisilo sahihi502 Hakufuata maelekezo52 Hitilafu ya API44 Muundo wa ziada34 Hakuna jibu13 Muda umeisha8

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

249/249

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#293	GPT-5 Nano medium	OpenAI	2	0.6	$0.159	2/4	25.5s
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.159 Muda wa majibu (wastani) 25.5s
#298	Gemma 4 31B none	Google	2	0.7	$0.031	2/4	1.85s
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.031 Muda wa majibu (wastani) 1.85s
#299	Space Bunny Alpha low	Stealth	2	0.7	$0.000	2/4	2.75s
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 2.75s
#305	Nemotron 3.5 Super VL none	NVIDIA	2	0.7	$0.040	2/4	3.08s
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.040 Muda wa majibu (wastani) 3.08s
#308	Ling 3.1 Flash none	Inclusionai	2	0.4	$0.000	0/4	2.02s
Jumla ya majaribio 4 Majaribio yenye makosa 4 Jumla ya gharama $0.000 Muda wa majibu (wastani) 2.02s
#313	Seed-2.0-Code none	Bytedance Seed	2	0.3	$0.257	0/4	5.06s
Jumla ya majaribio 4 Majaribio yenye makosa 4 Jumla ya gharama $0.257 Muda wa majibu (wastani) 5.06s
#315	Qwen3.8 27B none	Qwen	2	0.7	~$0.010	2/4	828ms
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama ~$0.010 Muda wa majibu (wastani) 828ms
#320	Ember-1 none	Fireworks	2	0.5	$0.786	1/4	22.4s
Jumla ya majaribio 4 Majaribio yenye makosa 3 Jumla ya gharama $0.786 Muda wa majibu (wastani) 22.4s
#326	Laguna XS 2.1 none	Poolside	2	0.5	$0.020	1/4	755ms
Jumla ya majaribio 4 Majaribio yenye makosa 3 Jumla ya gharama $0.020 Muda wa majibu (wastani) 755ms
#336	Mercury 2.5 low	Inception	2	0.7	$0.020	2/4	799ms
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.020 Muda wa majibu (wastani) 799ms
#341	Mercury 2.5 Preview low	Inception	2	0.6	$0.015	1/4	759ms
Jumla ya majaribio 4 Majaribio yenye makosa 3 Jumla ya gharama $0.015 Muda wa majibu (wastani) 759ms
#345	KAT Coder AIR V2.5 low	Kwaipilot	2	0.7	$0.046	2/4	3.50s
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.046 Muda wa majibu (wastani) 3.50s
#348	Qwen3 Coder Next default	Qwen	2	0.4	$0.067	0/4	3.31s
Jumla ya majaribio 4 Majaribio yenye makosa 4 Jumla ya gharama $0.067 Muda wa majibu (wastani) 3.31s
#359	Nemotron 3.5 Lightning medium	NVIDIA	2	0.7	$0.195	2/4	12.3s
Jumla ya majaribio 4 Majaribio yenye makosa 2 Jumla ya gharama $0.195 Muda wa majibu (wastani) 12.3s
#360	North Mini Code default	Cohere	2	0.3	$0.000	0/4	22.5s
Jumla ya majaribio 4 Majaribio yenye makosa 4 Jumla ya gharama $0.000 Muda wa majibu (wastani) 22.5s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mbinu za kupinga AI: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0968 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.009566.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa