Orodha ya Mwito wa zana x Hitilafu ya API

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Mwito wa zana, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Hitilafu ya API15 Mwito wa zana si sahihi7 Hakufuata maelekezo6 Hakuna jibu2 Jibu lisilo sahihi2

Kategoria

Uandishi wa msimbo43 Uchanganuzi na uchimbaji wa data16 Mwito wa zana15 Mbinu za kupinga AI13 Mchanganyiko13 Utatuzi wa mafumbo13 Akili ya jumla12 Maarifa ya jumla12 Mahususi kwa domeni6 Ufuataji wa maagizo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#20	Gemini 3.5 Flash none	Google	1	3.0	0/1	0ms
#27	Gemma 4 31B medium	Google	1	3.0	0/1	0ms
#46	Qwen3.6 35B A3B medium	Qwen	1	3.0	0/1	0ms
#55	GLM 5.1 medium	Z.ai	1	3.0	0/1	0ms
#83	Step 3.5 Flash none	Stepfun	1	3.0	0/1	0ms
#84	Grok 4.20 Multi Agent Beta medium	X AI	1	3.0	0/1	0ms
#85	Gemma 4 31B none	Google	1	3.0	0/1	0ms
#89	Hy3 preview low	Tencent	1	2.8	0/1	17.8s
#96	Ring-2.6-1T none	Inclusionai	1	3.0	0/1	0ms
#100	Grok Build 0.1 none	X AI	1	3.0	0/1	0ms
#126	gpt-oss-120b none	OpenAI	1	3.0	0/1	0ms
#149	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	3.0	0/1	0ms
#153	Qwen3.6 35B A3B none	Qwen	1	3.0	0/1	0ms
#160	LFM2-24B-A2B none	Liquid	1	3.0	0/1	0ms
#162	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	1	3.0	0/1	0ms

Modeli bora kwa Idadi ya Hitilafu ya API