AI BENCHY
Advertise here

Uandishi wa msimbo: Hakufuata maelekezo

Uandishi wa msimbo
Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

10

Jumla ya kushindwa

25

Modeli iliyoathirika zaidi

Gemini 3.5 Flash 1

Sababu za kushindwa

Jibu lisilo sahihi337 Hitilafu ya API51 Hakuna jibu39 Muda umeisha27 Hakufuata maelekezo25 Muundo wa ziada25

Kategoria

Utatuzi wa mafumbo120 Akili ya jumla108 Ufuataji wa maagizo46 Mbinu za kupinga AI42 Uandishi wa msimbo25 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1
25/25
Nafasi Modeli Kampuni Idadi ya Hakufuata maelekezo Alama ya kategoria Jumla ya gharama Majaribio sahihi Muda wa majibu (wastani)

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa