Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

120

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Mahususi kwa domeni298 Mbinu za kupinga AI235 Utatuzi wa mafumbo148 Maarifa ya jumla127 Uandishi wa msimbo120 Ufuataji wa maagizo52 Mchanganyiko51 Uchanganuzi na uchimbaji wa data32 Akili ya jumla27 Mwito wa zana2

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#59	Qwen3.6 Flash medium	Qwen	2	5.1	0/2	51.9s
#66	Qwen3.6 Max Preview none	Qwen	2	4.2	0/2	3.06s
#77	Grok 4.20 medium	X AI	2	4.1	0/2	65.1s
#88	Qwen3.5 Plus 2026-02-15 none	Qwen	2	4.9	0/2	2.54s
#89	GLM 5 none	Z.ai	2	4.6	0/2	5.18s
#94	GPT-5 Nano medium	OpenAI	2	5.4	0/2	47.8s
#95	DeepSeek V4 Pro none	DeepSeek	2	5.4	0/2	8.27s
#109	GLM 4.7 Flash none	Z.ai	2	5.0	0/2	3.35s
#111	gpt-oss-120b medium	OpenAI	2	3.9	0/2	47.2s
#113	GLM 5.1 none	Z.ai	2	4.3	0/2	6.33s
#121	Mistral Small 4 medium	Mistral	2	5.1	0/2	44.8s
#124	Qwen3.5-122B-A10B none	Qwen	2	4.0	0/2	2.14s
#125	GLM 5 Turbo none	Z.ai	2	4.4	0/2	2.58s
#131	DeepSeek V4 Flash none	DeepSeek	2	4.8	0/2	24.5s
#132	Qwen3 Coder Next none	Qwen	2	5.4	0/2	2.01s

1 2 3 4 5 6 7

→

Modeli bora kwa Idadi ya Jibu lisilo sahihi