Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Minimax M3.1 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#320	Gemma 4 26B A4B none	Google	1	0.6	$0.031	1/3	744ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.031 Muda wa majibu (wastani) 744ms
#322	Seed-2.0-Code none	Bytedance Seed	1	0.8	$0.257	2/3	10.0s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.257 Muda wa majibu (wastani) 10.0s
#324	Qwen3.8 27B none	Qwen	1	0.6	~$0.010	1/3	1.25s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama ~$0.010 Muda wa majibu (wastani) 1.25s
#326	Hy4 preview low	Tencent	1	0.5	$1.844	0/3	238.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.844 Muda wa majibu (wastani) 238.0s
#328	Step 3.5 Flash medium	Stepfun	1	0.5	$0.105	1/3	7.22s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.105 Muda wa majibu (wastani) 7.22s
#330	Hy3 preview medium	Tencent	1	0.8	$0.049	2/3	11.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.049 Muda wa majibu (wastani) 11.1s
#341	Mimo V2 PRO medium	Xiaomi	1	0.6	$0.333	1/3	5.08s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.333 Muda wa majibu (wastani) 5.08s
#343	Mistral Small 4 medium	Mistral	1	0.3	$0.126	0/3	2.17s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.126 Muda wa majibu (wastani) 2.17s
#344	Mistral Small 4 none	Mistral	1	0.3	$0.047	0/3	399ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.047 Muda wa majibu (wastani) 399ms
#347	MiMo-V2.5-Pro none	Xiaomi	1	0.7	$0.135	1/3	1.30s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.135 Muda wa majibu (wastani) 1.30s
#348	Apodex 1.1 Mini default	Apodex	1	0.3	$0.000	0/3	1.20s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.20s
#351	MiniMax M2.7 medium	Minimax	1	0.6	$0.326	1/3	24.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.326 Muda wa majibu (wastani) 24.9s
#353	GPT-4o-mini default	OpenAI	1	0.4	$0.024	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.024 Muda wa majibu (wastani) 1.21s
#354	KAT Coder AIR V2.5 low	Kwaipilot	1	0.3	$0.046	0/3	1.57s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.046 Muda wa majibu (wastani) 1.57s
#360	Ling 2.6 1t default	Inclusionai	1	0.3	$0.016	0/3	5.36s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 5.36s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0968 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.009566.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa