Orodha ya Mwito wa zana x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Mwito wa zana, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Inkling Small 1

Sababu za kushindwa

Hitilafu ya API25 Hakufuata maelekezo12 Mwito wa zana si sahihi11 Jibu lisilo sahihi5 Hakuna jibu2

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

12/12

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#55	Inkling Small high	Thinkingmachines	1	3.0	$0.398	0/1	2.91s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.398 Muda wa majibu (wastani) 2.91s
#102	GPT-5.4 Mini medium	OpenAI	1	4.7	$0.786	0/1	9.62s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.786 Muda wa majibu (wastani) 9.62s
#137	Grok 4.20 medium	X AI	1	3.0	$0.805	0/1	13.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.805 Muda wa majibu (wastani) 13.7s
#165	Inkling Small medium	Thinkingmachines	1	3.0	$0.113	0/1	2.12s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.113 Muda wa majibu (wastani) 2.12s
#193	Inkling low	Thinkingmachines	1	3.0	$0.187	0/1	2.57s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.187 Muda wa majibu (wastani) 2.57s
#201	Grok 4.20 Beta medium	X AI	1	3.0	$0.750	0/1	12.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.750 Muda wa majibu (wastani) 12.4s
#212	GPT-5.4 Mini none	OpenAI	1	3.0	$0.095	0/1	2.32s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.095 Muda wa majibu (wastani) 2.32s
#246	Inkling Small none	Thinkingmachines	1	3.0	$0.054	0/1	2.31s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.054 Muda wa majibu (wastani) 2.31s
#253	Inkling none	Thinkingmachines	1	3.0	$0.147	0/1	2.50s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.147 Muda wa majibu (wastani) 2.50s
#264	MiniMax M2.7 medium	Minimax	1	4.7	$0.208	0/1	12.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.208 Muda wa majibu (wastani) 12.0s
#272	Nemotron 3 Super none	NVIDIA	1	4.7	$0.008	0/1	16.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.008 Muda wa majibu (wastani) 16.0s
#302	Ling 3.0 Tiny none	Inclusionai	1	3.0	$0.000	0/1	3.05s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.05s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mwito wa zana: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa