Orodha ya Ufuataji wa maagizo x Muundo wa ziada

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Muundo wa ziada katika Ufuataji wa maagizo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

DeepSeek V4 Flash 1

Sababu za kushindwa

Jibu lisilo sahihi54 Hakufuata maelekezo12 Hakuna jibu2 Muundo wa ziada2 Hitilafu ya API1

Kategoria

Mbinu za kupinga AI18 Mahususi kwa domeni13 Uandishi wa msimbo11 Uchanganuzi na uchimbaji wa data4 Utatuzi wa mafumbo4 Ufuataji wa maagizo2 Mchanganyiko1

2/2

Nafasi	Modeli	Kampuni	Idadi ya Muundo wa ziada	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#117	DeepSeek V4 Flash none	DeepSeek	1	6.5	$0.007	1/2	17.5s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.007 Muda wa majibu (wastani) 17.5s
#158	Hy3 preview none	Tencent	1	6.3	$0.003	1/2	13.0s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.003 Muda wa majibu (wastani) 13.0s

Chuja miundo

Modeli bora kwa Idadi ya Muundo wa ziada

Idadi ya Muundo wa ziada dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Ufuataji wa maagizo: Muundo wa ziada

Chuja miundo

Modeli bora kwa Idadi ya Muundo wa ziada

Idadi ya Muundo wa ziada dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa