Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Minimax M3.1 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#291	Qwen3.6 Flash none	Qwen	1	0.4	$0.139	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.139 Muda wa majibu (wastani) 1.21s
#293	Nemotron 3 Ultra none	NVIDIA	1	0.6	$0.164	1/3	1.06s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.164 Muda wa majibu (wastani) 1.06s
#294	Qwen3.7 Flash none	Qwen	1	0.4	$0.028	0/3	1.39s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.028 Muda wa majibu (wastani) 1.39s
#300	Ring 2.6 1t medium	Inclusionai	1	0.6	$0.102	1/3	20.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.102 Muda wa majibu (wastani) 20.7s
#302	GPT-5 Nano medium	OpenAI	1	0.5	$0.159	1/3	20.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.159 Muda wa majibu (wastani) 20.6s
#303	GPT-5.4 Mini none	OpenAI	1	0.5	$0.170	1/3	836ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.170 Muda wa majibu (wastani) 836ms
#304	Mistral Large 4 none	Mistral	1	0.8	$0.290	2/3	19.3s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.290 Muda wa majibu (wastani) 19.3s
#306	Dots 3 Note Preview medium	Dots Studio	1	0.5	$0.000	1/3	8.71s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 8.71s
#307	Gemma 4 31B none	Google	1	0.6	$0.031	1/3	4.23s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.031 Muda wa majibu (wastani) 4.23s
#308	Space Bunny Alpha low	Stealth	1	0.8	$0.000	2/3	3.51s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 3.51s
#309	GPT-5.4 none	OpenAI	1	0.6	$0.690	1/3	1.44s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.690 Muda wa majibu (wastani) 1.44s
#313	Qwen3.5-35B-A3B none	Qwen	1	0.4	$0.120	0/3	1.35s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.120 Muda wa majibu (wastani) 1.35s
#314	Nemotron 3.5 Super VL none	NVIDIA	1	0.5	$0.040	0/3	754ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.040 Muda wa majibu (wastani) 754ms
#315	Nemotron 3 Super medium	NVIDIA	1	0.3	$0.081	0/3	3.15s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.081 Muda wa majibu (wastani) 3.15s
#316	Kimi K2.6 none	Moonshot AI	1	0.3	$0.486	0/3	1.40s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.486 Muda wa majibu (wastani) 1.40s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa