Orodha ya Uandishi wa msimbo x Hakuna jibu

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakuna jibu katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemma 4 26B A4B 1

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Uandishi wa msimbo18 Uchanganuzi na uchimbaji wa data5 Mahususi kwa domeni4 Ufuataji wa maagizo3 Mbinu za kupinga AI2 Mchanganyiko2 Mwito wa zana2 Utatuzi wa mafumbo2

Nafasi	Modeli	Kampuni	Idadi ya Hakuna jibu	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#47	Gemma 4 26B A4B medium	Google	1	2.9	0/2	258.4s
#70	Qwen3.5-35B-A3B medium	Qwen	1	6.5	1/2	244.5s
#79	Kimi K2.5 medium	Moonshot AI	1	4.1	0/2	215.9s
#72	MiMo-V2-Omni medium	Xiaomi	1	3.4	0/2	183.9s
#83	Qwen3.6 27B medium	Qwen	1	6.6	1/2	165.4s
#51	GLM 5.1 medium	Z.ai	1	4.7	0/2	145.6s
#151	Qwen3.5-9B medium	Qwen	1	2.8	0/2	135.6s
#54	Kimi K2.6 medium	Moonshot AI	1	6.5	1/2	118.2s
#23	Gemma 4 31B medium	Google	1	3.8	0/2	110.9s
#58	Step 3.5 Flash medium	Stepfun	1	3.0	0/1	62.8s
#30	Qwen3.6 35B A3B medium	Qwen	1	6.6	1/2	59.3s
#148	GLM 4.7 Flash medium	Z.ai	1	3.4	0/2	55.3s
#133	MiniMax M2.7 medium	Minimax	1	6.7	1/2	54.7s
#28	GLM 5 Turbo medium	Z.ai	1	7.3	1/2	53.9s
#80	DeepSeek V4 Pro high	DeepSeek	1	2.8	0/2	51.8s

Modeli bora kwa Idadi ya Hakuna jibu

Idadi ya Hakuna jibu dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Hakuna jibu

Modeli bora kwa Idadi ya Hakuna jibu

Idadi ya Hakuna jibu dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa