Orodha ya Mwito wa zana x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Mwito wa zana, ili uone udhaifu haraka. Panga kwa: Idadi ya kushindwa ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

GPT-5.4 Mini 1

Sababu za kushindwa

Hitilafu ya API17 Mwito wa zana si sahihi9 Hakufuata maelekezo8 Jibu lisilo sahihi3 Hakuna jibu2

Kategoria

Utatuzi wa mafumbo90 Akili ya jumla78 Mbinu za kupinga AI33 Ufuataji wa maagizo18 Uandishi wa msimbo16 Mwito wa zana8 Mahususi kwa domeni1 Mchanganyiko1

8/8

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#56	GPT-5.4 Mini medium	OpenAI	1	4.7	$0.756	0/1	9.62s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.756 Muda wa majibu (wastani) 9.62s
#75	Grok 4.20 medium	X AI	1	3.0	$0.777	0/1	13.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.777 Muda wa majibu (wastani) 13.7s
#123	Inkling low	Thinkingmachines	1	3.0	$0.187	0/1	2.57s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.187 Muda wa majibu (wastani) 2.57s
#131	Grok 4.20 Beta medium	X AI	1	3.0	$0.750	0/1	12.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.750 Muda wa majibu (wastani) 12.4s
#136	GPT-5.4 Mini none	OpenAI	1	3.0	$0.095	0/1	2.32s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.095 Muda wa majibu (wastani) 2.32s
#164	Inkling none	Thinkingmachines	1	3.0	$0.147	0/1	2.50s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.147 Muda wa majibu (wastani) 2.50s
#172	MiniMax M2.7 medium	Minimax	1	4.7	$0.163	0/1	12.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.163 Muda wa majibu (wastani) 12.0s
#177	Nemotron 3 Super none	NVIDIA	1	4.7	$0.008	0/1	16.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.008 Muda wa majibu (wastani) 16.0s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mwito wa zana: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa