Orodha ya Uandishi wa msimbo x Jibu lisilo sahihi

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

120

Modeli iliyoathirika zaidi

Granite 4.1 8B 1

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Mahususi kwa domeni298 Mbinu za kupinga AI235 Utatuzi wa mafumbo148 Maarifa ya jumla127 Uandishi wa msimbo120 Ufuataji wa maagizo52 Mchanganyiko51 Uchanganuzi na uchimbaji wa data32 Akili ya jumla27 Mwito wa zana2

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#153	Granite 4.1 8B none	IBM Granite	1	5.2	0/2	706ms
#92	Gemini 2.5 Flash none	Google	1	6.8	1/2	810ms
#143	Mercury 2 none	Inception	2	3.5	0/2	831ms
#78	Gemini 3.1 Flash Lite minimal	Google	1	6.8	1/2	951ms
#97	Qwen3.5-Flash none	Qwen	1	6.8	1/2	993ms
#136	GPT-5.4 Mini none	OpenAI	1	6.8	1/2	1.01s
#135	Mistral Small 4 none	Mistral	2	4.0	0/2	1.03s
#49	Gemini 3.1 Flash Lite Preview none	Google	1	6.8	1/2	1.06s
#147	GPT-5.4 Nano none	OpenAI	2	5.4	0/2	1.09s
#85	Gemini 3.1 Flash Lite none	Google	1	6.8	1/2	1.13s
#117	Grok 4.20 Beta none	X AI	1	5.5	0/1	1.14s
#141	Qwen3 Coder Next medium	Qwen	1	4.1	0/2	1.17s
#120	Grok 4.20 none	X AI	1	3.4	0/1	1.22s
#122	Elephant Alpha medium	Openrouter	1	4.0	0/2	1.30s
#26	Qwen3.7 Max none	Qwen	1	6.8	1/2	1.39s

1 2 3 4 5 6 7

→

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uandishi wa msimbo: Jibu lisilo sahihi

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa