Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Minimax M3.1 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#84	GPT-5 Mini medium	OpenAI	1	0.6	$0.315	1/3	15.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.315 Muda wa majibu (wastani) 15.2s
#87	Inkling high	Thinkingmachines	1	0.7	$1.238	1/3	10.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.238 Muda wa majibu (wastani) 10.7s
#89	DeepSeek V4 Flash 0731 high	DeepSeek	1	0.8	$0.576	2/3	9.36s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.576 Muda wa majibu (wastani) 9.36s
#90	GLM 5.2 high	Z.ai	1	0.6	$4.632	1/3	33.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $4.632 Muda wa majibu (wastani) 33.7s
#92	Claude Haiku 5.5 high	Anthropic	1	0.6	$0.088	1/3	3.28s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.088 Muda wa majibu (wastani) 3.28s
#95	GPT-6 Luna medium	OpenAI	1	0.8	$0.047	2/3	9.78s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.047 Muda wa majibu (wastani) 9.78s
#99	Gemini 4 Argon low	Google	1	0.9	$0.438	2/3	2.18s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.438 Muda wa majibu (wastani) 2.18s
#100	DeepSeek V4.1 Flash 1017 max	DeepSeek	1	0.6	$0.757	1/3	12.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.757 Muda wa majibu (wastani) 12.3s
#104	Seed-2.0-Lite medium	Bytedance Seed	1	0.9	$0.271	2/3	10.2s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.271 Muda wa majibu (wastani) 10.2s
#106	DeepSeek V4 Pro 0423 high	DeepSeek	1	0.7	$0.149	1/3	56.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.149 Muda wa majibu (wastani) 56.8s
#108	DeepSeek V4 Flash 0423 high	DeepSeek	1	0.8	$0.261	2/3	26.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.261 Muda wa majibu (wastani) 26.1s
#112	GPT-5.4 Nano medium	OpenAI	1	0.4	$0.235	0/3	3.79s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.235 Muda wa majibu (wastani) 3.79s
#114	Qwen3.8 Flash Next low	Qwen	1	0.9	~$0.045	2/3	1.72s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama ~$0.045 Muda wa majibu (wastani) 1.72s
#116	Qwen3.5-27B medium	Qwen	1	0.8	$1.135	2/3	59.6s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.135 Muda wa majibu (wastani) 59.6s
#117	GLM 5.3 FlashX max	Z.ai	1	0.8	$0.623	2/3	3.88s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.623 Muda wa majibu (wastani) 3.88s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.4535 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.044834.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa