Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

120

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Mahususi kwa domeni298 Mbinu za kupinga AI235 Utatuzi wa mafumbo148 Maarifa ya jumla127 Uandishi wa msimbo120 Ufuataji wa maagizo52 Mchanganyiko51 Uchanganuzi na uchimbaji wa data32 Akili ya jumla27 Mwito wa zana2

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#137	Qwen3.6 35B A3B none	Qwen	1	6.8	1/2	12.3s
#139	MiMo-V2.5 none	Xiaomi	1	6.8	1/2	3.74s
#140	Trinity Large Preview none	Arcee AI	1	4.9	0/1	14.3s
#141	Qwen3 Coder Next medium	Qwen	1	4.1	0/2	1.17s
#144	Hy3 preview none	Tencent	1	2.3	0/1	4.56s
#146	Ling-2.6-1T none	Inclusionai	1	5.5	0/1	10.6s
#149	MiMo-V2-Flash none	Xiaomi	1	4.9	0/2	2.04s
#150	Grok 4.1 Fast none	X AI	1	5.3	0/1	1.79s
#153	Granite 4.1 8B none	IBM Granite	1	5.2	0/2	706ms

←

1 2 3 4 5 6 7

Modeli bora kwa Idadi ya Jibu lisilo sahihi