Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi201 Hakufuata maelekezo90 Hitilafu ya API12 Muundo wa ziada8 Muda umeisha5 Hakuna jibu3

Kategoria

Utatuzi wa mafumbo90 Akili ya jumla78 Mbinu za kupinga AI33 Ufuataji wa maagizo18 Uandishi wa msimbo16 Mwito wa zana8 Mahususi kwa domeni1 Mchanganyiko1

86/86

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#49	GLM 5 Turbo medium	Z.ai	1	8.7	$0.323	2/3	5.23s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.323 Muda wa majibu (wastani) 5.23s
#52	Kimi K2.7 Code medium	Moonshot AI	1	5.9	$0.751	1/3	41.0s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.751 Muda wa majibu (wastani) 41.0s
#53	GPT-5.4 Nano medium	OpenAI	1	4.1	$0.138	0/3	3.79s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.138 Muda wa majibu (wastani) 3.79s
#56	GPT-5.4 Mini medium	OpenAI	1	7.8	$0.756	2/3	4.37s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.756 Muda wa majibu (wastani) 4.37s
#58	Qwen3.5-27B medium	Qwen	1	8.2	$1.627	2/3	59.6s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.627 Muda wa majibu (wastani) 59.6s
#68	Kimi K2.6 medium	Moonshot AI	1	6.0	$1.036	1/3	25.1s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.036 Muda wa majibu (wastani) 25.1s
#73	Grok 4.3 medium	X AI	1	5.9	$0.779	1/3	22.5s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.779 Muda wa majibu (wastani) 22.5s
#76	DeepSeek V3.2 medium	DeepSeek	1	7.0	$0.078	1/3	37.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.078 Muda wa majibu (wastani) 37.7s
#77	Kimi K2.5 medium	Moonshot AI	1	5.3	$0.600	1/3	43.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.600 Muda wa majibu (wastani) 43.2s
#78	Mercury 2 medium	Inception	1	5.4	$0.093	1/3	949ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.093 Muda wa majibu (wastani) 949ms
#84	MiMo-V2.5-Pro medium	Xiaomi	1	6.7	$0.187	1/3	5.31s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.187 Muda wa majibu (wastani) 5.31s
#85	Qwen3.6 Flash medium	Qwen	1	8.2	$0.738	2/3	6.29s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.738 Muda wa majibu (wastani) 6.29s
#91	LongCat 2.0 low	Meituan	1	3.1	$0.391	0/3	8.15s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.391 Muda wa majibu (wastani) 8.15s
#97	LongCat 2.0 high	Meituan	1	3.1	$0.469	0/3	9.18s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.469 Muda wa majibu (wastani) 9.18s
#100	Hy3 preview medium	Tencent	1	7.7	$0.018	2/3	11.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.018 Muda wa majibu (wastani) 11.1s

←

1 2 3 4 5 6

→

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa