Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Minimax M3.1 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#119	GPT-5.4 Mini medium	OpenAI	1	0.8	$1.102	2/3	4.37s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.102 Muda wa majibu (wastani) 4.37s
#126	DeepSeek V4.1 Flash 1017 high	DeepSeek	1	0.5	$0.589	1/3	5.70s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.589 Muda wa majibu (wastani) 5.70s
#130	Grok 4.6 medium	X AI	1	0.9	$2.270	2/3	16.3s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.270 Muda wa majibu (wastani) 16.3s
#136	Muse Glimmer 30B high	Meta	1	0.6	$0.506	1/3	64.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.506 Muda wa majibu (wastani) 64.8s
#137	Nemotron 3.5 Super VL medium	NVIDIA	1	0.8	$0.437	2/3	11.8s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.437 Muda wa majibu (wastani) 11.8s
#138	Claude Haiku 5.5 medium	Anthropic	1	0.8	$0.063	2/3	2.67s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.063 Muda wa majibu (wastani) 2.67s
#140	Qwen3.7 Flash low	Qwen	1	0.7	$0.071	1/3	9.79s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.071 Muda wa majibu (wastani) 9.79s
#144	GPT-6 Luna low	OpenAI	1	0.8	$0.033	2/3	27.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.033 Muda wa majibu (wastani) 27.5s
#152	Qwen3.6 Flash medium	Qwen	1	0.8	$0.783	2/3	6.29s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.783 Muda wa majibu (wastani) 6.29s
#153	DeepSeek V4 Flash 0731 low	DeepSeek	1	0.8	$0.306	2/3	9.08s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.306 Muda wa majibu (wastani) 9.08s
#157	Inkling Small high	Thinkingmachines	1	0.5	$0.398	0/3	14.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.398 Muda wa majibu (wastani) 14.4s
#165	LongCat 2.0 high	Meituan	1	0.3	$0.778	0/3	9.18s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.778 Muda wa majibu (wastani) 9.18s
#168	Qwen3.5-27B none	Qwen	1	0.7	$0.116	1/3	1.38s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.116 Muda wa majibu (wastani) 1.38s
#170	Qwen3.8 27B medium	Qwen	1	0.8	~$0.073	2/3	12.6s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama ~$0.073 Muda wa majibu (wastani) 12.6s
#173	Qwen3.7 Flash high	Qwen	1	0.7	$0.063	1/3	10.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.063 Muda wa majibu (wastani) 10.8s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.7349 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.072660.

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa