Orodha ya Uchanganuzi na uchimbaji wa data x Hitilafu ya API

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Uchanganuzi na uchimbaji wa data, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Qwen3.5-Flash 1

Sababu za kushindwa

Jibu lisilo sahihi19 Hitilafu ya API6 Hakuna jibu2 Muundo wa ziada2 Muda umeisha1

Kategoria

Mwito wa zana6 Uandishi wa msimbo6 Uchanganuzi na uchimbaji wa data6 Mchanganyiko5 Mahususi kwa domeni2 Ufuataji wa maagizo1 Utatuzi wa mafumbo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#32	Qwen3.5-Flash medium	Qwen	1	7.3	1/2	57.0s
#41	MiMo-V2-Flash medium	Xiaomi	1	6.5	1/2	0ms
#43	Qwen3.5-35B-A3B medium	Qwen	1	7.3	1/2	59.3s
#73	Mistral Small 4 medium	Mistral	1	7.3	1/2	1.23s
#84	gpt-oss-120b none	OpenAI	1	6.5	1/2	7.12s
#94	MiMo-V2-Flash none	Xiaomi	1	2.9	0/2	19.7s

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Uchanganuzi na uchimbaji wa data: Hitilafu ya API

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa