Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

456

Modeli iliyoathirika zaidi

Decider V1.1 27B 1

Sababu za kushindwa

Jibu lisilo sahihi456 Hitilafu ya API64 Hakufuata maelekezo41 Hakuna jibu41 Muundo wa ziada36 Muda umeisha24

Kategoria

Mahususi kwa domeni811 Mbinu za kupinga AI470 Uandishi wa msimbo456 Utatuzi wa mafumbo323 Maarifa ya jumla289 Akili ya jumla121 Mchanganyiko121 Kazi za mawakala120 Ufuataji wa maagizo101 Uchanganuzi na uchimbaji wa data77

265/265

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#395	Decider V1.1 27B default	Perplexity	1	0.5	$0.002	1/2	305ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.002 Muda wa majibu (wastani) 305ms
#396	GPT-6 Luna Decisions default	OpenAI	2	0.3	$0.005	0/2	447ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.005 Muda wa majibu (wastani) 447ms
#399	D1 default	Liquid	2	0.2	$0.003	0/2	456ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.003 Muda wa majibu (wastani) 456ms
#333	Mercury 2.5 Preview default	Inception	3	0.5	$0.023	0/3	459ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.023 Muda wa majibu (wastani) 459ms
#336	Laguna S 2.1 none	Poolside	3	0.3	$0.044	0/3	550ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.044 Muda wa majibu (wastani) 550ms
#394	Jev 1.13 default	Typesafe	2	0.2	$0.003	0/2	598ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.003 Muda wa majibu (wastani) 598ms
#301	Laguna XS 2.1 none	Poolside	3	0.4	$0.020	0/3	623ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.020 Muda wa majibu (wastani) 623ms
#284	Gemini 2.5 Flash none	Google	2	0.5	$0.017	1/3	736ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.017 Muda wa majibu (wastani) 736ms
#293	MiMo-V2.6-Flash none	Xiaomi	2	0.4	$0.060	0/3	744ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.060 Muda wa majibu (wastani) 744ms
#322	Inkling Small none	Thinkingmachines	3	0.4	$0.054	0/3	759ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.054 Muda wa majibu (wastani) 759ms
#397	Kev 4B default	Jaredpalmer	1	0.5	$0.002	1/2	771ms
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.002 Muda wa majibu (wastani) 771ms
#371	Granite 4.1 8b default	IBM Granite	1	0.4	$0.007	0/3	775ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 775ms
#257	Gemini 3.1 Flash Lite minimal	Google	2	0.5	$0.080	1/3	831ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.080 Muda wa majibu (wastani) 831ms
#188	Qwen3.5-Flash none	Qwen	2	0.5	$0.089	1/3	850ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.089 Muda wa majibu (wastani) 850ms
#310	Mistral Small 4 none	Mistral	3	0.4	$0.047	0/3	901ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.047 Muda wa majibu (wastani) 901ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa