Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

456

Modeli iliyoathirika zaidi

Qwen3.6 Flash 3

Sababu za kushindwa

Jibu lisilo sahihi456 Hitilafu ya API64 Hakufuata maelekezo41 Hakuna jibu41 Muundo wa ziada36 Muda umeisha24

Kategoria

Mahususi kwa domeni811 Mbinu za kupinga AI470 Uandishi wa msimbo456 Utatuzi wa mafumbo323 Maarifa ya jumla289 Akili ya jumla121 Mchanganyiko121 Kazi za mawakala120 Ufuataji wa maagizo101 Uchanganuzi na uchimbaji wa data77

265/265

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#316	Mercury 2.5 Preview low	Inception	2	0.5	$0.015	1/3	972ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.015 Muda wa majibu (wastani) 972ms
#318	Dots 3 Note Preview default	Dots Studio	2	0.5	$0.000	0/3	6.12s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 6.12s
#327	MiMo-V2.5 none	Xiaomi	2	0.5	$0.049	1/3	3.24s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.049 Muda wa majibu (wastani) 3.24s
#329	Hy4 preview none	Tencent	2	0.4	$0.165	0/3	45.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.165 Muda wa majibu (wastani) 45.5s
#338	Qwen3 Coder Next medium	Qwen	2	0.4	$0.071	0/3	924ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.071 Muda wa majibu (wastani) 924ms
#339	DeepSeek V3.2 none	DeepSeek	2	0.3	$0.119	0/3	14.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.119 Muda wa majibu (wastani) 14.5s
#342	GLM 5V Turbo none	Z.ai	2	0.5	$0.052	1/3	3.13s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.052 Muda wa majibu (wastani) 3.13s
#355	Granite 4.2 8B none	IBM Granite	2	0.5	$0.037	1/3	105.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.037 Muda wa majibu (wastani) 105.6s
#363	Mercury 2.5 none	Inception	2	0.4	$0.026	0/3	12.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.026 Muda wa majibu (wastani) 12.5s
#385	MiMo-V2-Flash default	Xiaomi	2	0.4	$0.025	0/3	2.64s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.025 Muda wa majibu (wastani) 2.64s
#394	Jev 1.13 default	Typesafe	2	0.2	$0.003	0/2	598ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.003 Muda wa majibu (wastani) 598ms
#396	GPT-6 Luna Decisions default	OpenAI	2	0.3	$0.005	0/2	447ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.005 Muda wa majibu (wastani) 447ms
#399	D1 default	Liquid	2	0.2	$0.003	0/2	456ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.003 Muda wa majibu (wastani) 456ms
#15	Gemini 3 Flash Preview medium	Google	1	0.9	$0.876	2/3	84.4s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.876 Muda wa majibu (wastani) 84.4s
#17	Gemini 3.7 Flash medium	Google	1	0.8	$0.278	2/3	8.86s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.278 Muda wa majibu (wastani) 8.86s

←

1 9 10 11 18

→

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa