Kushindwa kwa kategoria za AI BENCHY

Mchanganyiko

Mwito wa zana si sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Mwito wa zana si sahihi katika Mchanganyiko, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

DeepSeek V3.2 1

Sababu zinazohusiana za kushindwa

Jibu lisilo sahihi21 Mwito wa zana si sahihi4 Hakuna jibu1 Hitilafu ya API1

Kategoria zinazohusiana

Mchanganyiko4

Nafasi	Modeli	Kampuni	Idadi ya Mwito wa zana si sahihi	Alama ya kategoria	Majaribio sahihi	Muda wa majibu (wastani)
#33	DeepSeek V3.2 none	DeepSeek	1	8.0	0/1	115.9s
#43	MiniMax M2.5 medium	Minimax	1	10.0	0/1	60.4s
#49	GLM 4.7 Flash none	Z.ai	1	10.0	0/1	3.22s
#52	GLM 4.7 Flash medium	Z.ai	1	10.0	0/1	65.6s

Mchanganyiko

Mwito wa zana si sahihi

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya wastani wa alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

MchanganyikoMbinu za kupinga AIAkili ya jumlaUfuataji wa maagizoUchanganuzi na uchimbaji wa dataUtatuzi wa mafumboMahususi kwa domeniMwito wa zanaMchanganyikoMchanganyikoTafuta : Jibu lisilo sahihiMwito wa zana si sahihiHakuna jibuHitilafu ya APIMwito wa zana si sahihiMwito wa zana si sahihiTafuta

Modeli bora kwa Idadi ya Mwito wa zana si sahihi

Idadi ya Mwito wa zana si sahihi dhidi ya wastani wa alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mchanganyiko

Mwito wa zana si sahihi