AI BENCHY
Advertise here

Akili ya jumla: Hitilafu ya API

Akili ya jumla
Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Akili ya jumla, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↑.

Modeli zilizoonyeshwa

12

Jumla ya kushindwa

12

Modeli iliyoathirika zaidi

Nemotron 3 Ultra 1

Sababu za kushindwa

Hakufuata maelekezo78 Jibu lisilo sahihi59 Hitilafu ya API12 Muda umeisha4

Kategoria

Uandishi wa msimbo45 Mchanganyiko26 Mwito wa zana17 Mbinu za kupinga AI14 Uchanganuzi na uchimbaji wa data14 Maarifa ya jumla13 Akili ya jumla12 Utatuzi wa mafumbo12 Mahususi kwa domeni7 Ufuataji wa maagizo1
12/12
Nafasi Modeli Kampuni Idadi ya Hitilafu ya API Alama ya kategoria Jumla ya gharama Majaribio sahihi Muda wa majibu (wastani)

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa