Kushindwa kwa kategoria za AI BENCHY

Utatuzi wa mafumbo

Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Sababu zinazohusiana za kushindwa

Jibu lisilo sahihi55 Hakufuata maelekezo24 Muda umeisha4 Hitilafu ya API1 Muundo wa ziada1

Kategoria zinazohusiana

Uchanganuzi na uchimbaji wa data4 Mahususi kwa domeni1 Mchanganyiko1 Mwito wa zana1 Utatuzi wa mafumbo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#55	LFM2-24B-A2B none	Liquid	1	3.3	0/3	1.69s

Modeli bora kwa Idadi ya Hitilafu ya API