Orodha ya Uandishi wa msimbo x Muda umeisha

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Muda umeisha katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemma 4 31B 1

Sababu za kushindwa

Jibu lisilo sahihi26 Muda umeisha12 Hitilafu ya API6 Hakufuata maelekezo2

Kategoria

Mahususi kwa domeni28 Uandishi wa msimbo12 Utatuzi wa mafumbo6 Akili ya jumla4 Mbinu za kupinga AI4 Mchanganyiko2 Uchanganuzi na uchimbaji wa data1 Ufuataji wa maagizo1

Nafasi	Modeli	Kampuni	Idadi ya Muda umeisha	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#12	Gemma 4 31B medium	Google	1	4.7	0/1	71.0s
#17	Qwen3.5-122B-A10B medium	Qwen	1	4.7	0/1	71.0s
#22	Gemma 4 26B A4B medium	Google	1	2.8	0/1	147.5s
#25	DeepSeek V3.2 medium	DeepSeek	1	4.7	0/1	180.9s
#30	Qwen3.5-Flash medium	Qwen	1	4.7	0/1	45.7s
#31	GLM 5.1 medium	Z.ai	1	4.7	0/1	118.5s
#38	MiMo-V2-Flash medium	Xiaomi	1	4.7	0/1	13.0s
#43	Kimi K2.5 medium	Moonshot AI	1	4.7	0/1	150.8s
#57	Gemma 4 26B A4B none	Google	1	4.7	0/1	7.07s
#67	MiniMax M2.5 medium	Minimax	1	3.0	0/1	0ms
#86	Qwen3 Coder Next medium	Qwen	1	4.7	0/1	1.69s
#87	GLM 4.7 Flash medium	Z.ai	1	3.6	0/1	21.3s

Modeli bora kwa Idadi ya Muda umeisha

Idadi ya Muda umeisha dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Muda umeisha

Modeli bora kwa Idadi ya Muda umeisha

Idadi ya Muda umeisha dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa