Orodha ya Uandishi wa msimbo x Hakuna jibu

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakuna jibu katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Uandishi wa msimbo18 Uchanganuzi na uchimbaji wa data5 Mahususi kwa domeni4 Ufuataji wa maagizo3 Mbinu za kupinga AI2 Mchanganyiko2 Mwito wa zana2 Utatuzi wa mafumbo2

Nafasi	Modeli	Kampuni	Idadi ya Hakuna jibu	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#19	Gemini 3 PRO Preview medium	Google	1	3.0	0/2	0ms
#23	Gemma 4 31B medium	Google	1	3.8	0/2	110.9s
#28	GLM 5 Turbo medium	Z.ai	1	7.3	1/2	53.9s
#30	Qwen3.6 35B A3B medium	Qwen	1	6.6	1/2	59.3s
#47	Gemma 4 26B A4B medium	Google	1	2.9	0/2	258.4s
#51	GLM 5.1 medium	Z.ai	1	4.7	0/2	145.6s
#54	Kimi K2.6 medium	Moonshot AI	1	6.5	1/2	118.2s
#58	Step 3.5 Flash medium	Stepfun	1	3.0	0/1	62.8s
#70	Qwen3.5-35B-A3B medium	Qwen	1	6.5	1/2	244.5s
#72	MiMo-V2-Omni medium	Xiaomi	1	3.4	0/2	183.9s
#79	Kimi K2.5 medium	Moonshot AI	1	4.1	0/2	215.9s
#80	DeepSeek V4 Pro high	DeepSeek	1	2.8	0/2	51.8s
#83	Qwen3.6 27B medium	Qwen	1	6.6	1/2	165.4s
#122	Elephant Alpha medium	Openrouter	1	4.0	0/2	1.30s
#130	Elephant Alpha none	Openrouter	1	4.7	0/2	1.39s

Modeli bora kwa Idadi ya Hakuna jibu