Orodha ya Ufuataji wa maagizo x Muundo wa ziada

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Muundo wa ziada katika Ufuataji wa maagizo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

HY3 Preview 1

Sababu za kushindwa

Jibu lisilo sahihi49 Hakufuata maelekezo23 Muundo wa ziada2 Hitilafu ya API1 Muda umeisha1

Kategoria

Mbinu za kupinga AI12 Mahususi kwa domeni11 Uchanganuzi na uchimbaji wa data4 Utatuzi wa mafumbo4 Ufuataji wa maagizo2

Nafasi	Modeli	Kampuni	Idadi ya Muundo wa ziada	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#108	HY3 Preview none	Tencent	1	6.3	1/2	13.0s
#92	DeepSeek V4 Flash none	DeepSeek	1	6.5	1/2	17.5s

Modeli bora kwa Idadi ya Muundo wa ziada

Idadi ya Muundo wa ziada dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Muundo wa ziada

Modeli bora kwa Idadi ya Muundo wa ziada

Idadi ya Muundo wa ziada dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa