Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

456

Modeli iliyoathirika zaidi

GLM 5.1 1

Sababu za kushindwa

Jibu lisilo sahihi456 Hitilafu ya API64 Hakufuata maelekezo41 Hakuna jibu41 Muundo wa ziada36 Muda umeisha24

Kategoria

Mahususi kwa domeni811 Mbinu za kupinga AI470 Uandishi wa msimbo456 Utatuzi wa mafumbo323 Maarifa ya jumla289 Akili ya jumla121 Mchanganyiko121 Kazi za mawakala120 Ufuataji wa maagizo101 Uchanganuzi na uchimbaji wa data77

265/265

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#128	GLM 5.1 medium	Z.ai	1	0.5	$1.546	0/3	109.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.546 Muda wa majibu (wastani) 109.6s
#133	Qwen3.6 Flash medium	Qwen	3	0.5	$0.783	0/3	42.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.783 Muda wa majibu (wastani) 42.9s
#175	Gemma 4 31B medium	Google	1	0.4	$0.144	0/3	219.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.144 Muda wa majibu (wastani) 219.8s
#180	Qwen3.5-Flash medium	Qwen	2	0.4	$0.184	0/3	58.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.184 Muda wa majibu (wastani) 58.9s
#181	Inkling low	Thinkingmachines	3	0.5	$0.293	0/3	8.71s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.293 Muda wa majibu (wastani) 8.71s
#195	Apodex 1.1 Mini high	Apodex	3	0.6	$0.000	0/3	47.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 47.0s
#198	GLM 5.2 none	Z.ai	2	0.4	$0.250	0/3	7.55s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.250 Muda wa majibu (wastani) 7.55s
#202	Step 3.7 Flash high	Stepfun	1	0.4	$1.478	0/3	206.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.478 Muda wa majibu (wastani) 206.2s
#209	GLM 5.1 none	Z.ai	3	0.4	$0.451	0/3	4.96s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.451 Muda wa majibu (wastani) 4.96s
#213	Qwen3.5-122B-A10B none	Qwen	3	0.4	$0.308	0/3	2.77s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.308 Muda wa majibu (wastani) 2.77s
#218	Mercury 2.5 medium	Inception	3	0.5	$0.034	0/3	3.70s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.034 Muda wa majibu (wastani) 3.70s
#226	Gemini 3.5 Flash Lite low	Google	3	0.4	$0.183	0/3	917ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.183 Muda wa majibu (wastani) 917ms
#230	Qwen3.5 Plus 2026-02-15 none	Qwen	3	0.4	$0.176	0/3	2.05s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.176 Muda wa majibu (wastani) 2.05s
#236	DeepSeek V4 Flash 0423 none	DeepSeek	3	0.4	$0.149	0/3	17.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.149 Muda wa majibu (wastani) 17.1s
#241	DeepSeek V4 Flash 0731 none	DeepSeek	3	0.4	$0.053	0/3	1.72s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.053 Muda wa majibu (wastani) 1.72s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa