Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

456

Modeli iliyoathirika zaidi

Qwen3.6 Flash 3

Sababu za kushindwa

Jibu lisilo sahihi456 Hitilafu ya API64 Hakufuata maelekezo41 Hakuna jibu41 Muundo wa ziada36 Muda umeisha24

Kategoria

Mahususi kwa domeni811 Mbinu za kupinga AI470 Uandishi wa msimbo456 Utatuzi wa mafumbo323 Maarifa ya jumla289 Akili ya jumla121 Mchanganyiko121 Kazi za mawakala120 Ufuataji wa maagizo101 Uchanganuzi na uchimbaji wa data77

265/265

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#80	Claude Haiku 5.5 high	Anthropic	2	0.6	$0.088	1/3	9.54s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.088 Muda wa majibu (wastani) 9.54s
#83	GPT-6 Luna medium	OpenAI	2	0.7	$0.047	1/3	23.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 23.6s
#86	Qwen3.7 Plus medium	Qwen	2	0.6	$0.415	1/3	108.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.415 Muda wa majibu (wastani) 108.6s
#89	GPT-5.6 Terra medium	OpenAI	2	0.6	$0.483	1/3	7.19s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.483 Muda wa majibu (wastani) 7.19s
#91	Seed-2.0-Code low	Bytedance Seed	2	0.7	$0.881	1/3	109.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.881 Muda wa majibu (wastani) 109.7s
#92	DeepSeek V4 Pro 0423 high	DeepSeek	2	0.6	$0.149	1/3	243.0s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.149 Muda wa majibu (wastani) 243.0s
#96	GPT-5.6 Luna high	OpenAI	2	0.5	$0.118	1/3	15.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.118 Muda wa majibu (wastani) 15.6s
#98	GPT-5.4 Nano medium	OpenAI	2	0.6	$0.235	1/3	19.1s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.235 Muda wa majibu (wastani) 19.1s
#101	GPT-5.6 Terra low	OpenAI	2	0.7	$0.435	1/3	9.56s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.435 Muda wa majibu (wastani) 9.56s
#102	Qwen3.5-27B medium	Qwen	2	0.6	$1.135	1/3	160.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.135 Muda wa majibu (wastani) 160.7s
#106	Qwen3.7 Max none	Qwen	2	0.5	$0.451	1/3	1.35s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.451 Muda wa majibu (wastani) 1.35s
#112	GLM 5.3 high	Z.ai	2	0.7	$0.495	1/3	18.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.495 Muda wa majibu (wastani) 18.9s
#115	Qwen3.7 Plus none	Qwen	2	0.5	$0.178	1/3	2.15s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.178 Muda wa majibu (wastani) 2.15s
#120	Claude Haiku 5.5 medium	Anthropic	2	0.6	$0.063	1/3	7.16s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.063 Muda wa majibu (wastani) 7.16s
#121	Qwen3.5 Plus 2026-04-20 medium	Qwen	2	0.6	$0.435	1/3	125.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.435 Muda wa majibu (wastani) 125.3s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa