Kushindwa kwa kategoria za AI BENCHY

Uchanganuzi na uchimbaji wa data

Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Uchanganuzi na uchimbaji wa data, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Qwen3.5-35B-A3B 1

Sababu zinazohusiana za kushindwa

Jibu lisilo sahihi14 Hitilafu ya API4 Hakuna jibu2 Muundo wa ziada1

Kategoria zinazohusiana

Uchanganuzi na uchimbaji wa data4 Mahususi kwa domeni1 Mchanganyiko1 Mwito wa zana1 Utatuzi wa mafumbo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#35	Qwen3.5-35B-A3B medium	Qwen	1	5.5	1/2	59.3s
#24	Qwen3.5-Flash medium	Qwen	1	5.5	1/2	57.0s
#54	MiMo-V2-Flash none	Xiaomi	1	10.0	0/2	19.7s
#21	MiMo-V2-Flash medium	Xiaomi	1	5.5	1/2	0ms

Uchanganuzi na uchimbaji wa data

Hitilafu ya API

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya wastani wa alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa