Orodha ya Mahususi kwa domeni x Hitilafu ya API

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu za kushindwa

Jibu lisilo sahihi314 Muda umeisha34 Muundo wa ziada12 Hitilafu ya API6 Hakuna jibu5 Hakufuata maelekezo1

Kategoria

Uandishi wa msimbo43 Uchanganuzi na uchimbaji wa data16 Mwito wa zana15 Mbinu za kupinga AI13 Mchanganyiko13 Utatuzi wa mafumbo13 Akili ya jumla12 Maarifa ya jumla12 Mahususi kwa domeni6 Ufuataji wa maagizo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#93	Qwen3.6 Plus Preview medium	Qwen	1	3.0	0/3	22.1s
#103	DeepSeek V4 Pro high	DeepSeek	1	2.9	0/3	205.7s
#132	Mistral Small 4 medium	Mistral	1	5.3	1/3	6.11s
#133	DeepSeek V3.2 none	DeepSeek	1	2.9	0/3	4.17s
#156	Hy3 preview none	Tencent	1	3.6	0/3	17.6s
#160	LFM2-24B-A2B none	Liquid	1	5.9	1/3	287ms

Modeli bora kwa Idadi ya Hitilafu ya API