Orodha ya Uandishi wa msimbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Claude Sonnet 5.5 2

Sababu za kushindwa

Jibu lisilo sahihi456 Hitilafu ya API64 Hakufuata maelekezo41 Hakuna jibu41 Muundo wa ziada36 Muda umeisha24

Kategoria

Utatuzi wa mafumbo147 Akili ya jumla134 Ufuataji wa maagizo65 Mbinu za kupinga AI49 Uandishi wa msimbo41 Mwito wa zana12 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

38/38

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#219	Gemini 3.5 Flash minimal	Google	1	0.6	$0.508	1/3	2.75s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.508 Muda wa majibu (wastani) 2.75s
#231	Ling 3.1 Flash low	Inclusionai	1	0.6	$0.000	1/3	107.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 107.3s
#232	Claude Opus 4.6 medium	Anthropic	1	0.6	$2.961	1/3	30.1s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.961 Muda wa majibu (wastani) 30.1s
#245	Trinity Large Thinking medium	Arcee AI	1	0.8	$0.862	2/3	179.0s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.862 Muda wa majibu (wastani) 179.0s
#248	Qwen3.5 Plus 2026-04-20 none	Qwen	1	0.4	$0.216	0/3	1.69s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.216 Muda wa majibu (wastani) 1.69s
#266	DeepSeek V4.1 Flash none	DeepSeek	1	0.6	$0.391	1/3	83.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.391 Muda wa majibu (wastani) 83.7s
#269	Trinity Large Thinking high	Arcee AI	1	0.4	$0.794	0/3	245.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.794 Muda wa majibu (wastani) 245.0s
#282	Kimi K2.6 none	Moonshot AI	1	0.6	$0.486	1/3	82.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.486 Muda wa majibu (wastani) 82.6s
#283	Ling 3.1 Flash none	Inclusionai	1	0.5	$0.000	0/3	31.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 31.9s
#293	MiMo-V2.6-Flash none	Xiaomi	1	0.4	$0.060	0/3	744ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.060 Muda wa majibu (wastani) 744ms
#313	MiMo-V2.5-Pro none	Xiaomi	1	0.4	$0.135	0/3	1.41s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.135 Muda wa majibu (wastani) 1.41s
#329	Hy4 preview none	Tencent	1	0.4	$0.165	0/3	45.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.165 Muda wa majibu (wastani) 45.5s
#339	DeepSeek V3.2 none	DeepSeek	1	0.3	$0.119	0/3	14.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.119 Muda wa majibu (wastani) 14.5s
#356	Cobuddy medium	Baidu	1	0.4	$0.000	0/3	79.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 79.2s
#363	Mercury 2.5 none	Inception	1	0.4	$0.026	0/3	12.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.026 Muda wa majibu (wastani) 12.5s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa