Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

166

Modeli iliyoathirika zaidi

Xing4.0 29b A4b 2

Sababu za kushindwa

Jibu lisilo sahihi352 Hakufuata maelekezo166 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Utatuzi wa mafumbo166 Akili ya jumla142 Ufuataji wa maagizo77 Mbinu za kupinga AI52 Uandishi wa msimbo50 Mwito wa zana13 Kazi za mawakala10 Uchanganuzi na uchimbaji wa data8 Mahususi kwa domeni3 Mchanganyiko1

157/157

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#407	Xing4.0 29b A4b medium	Xingchen AGI	2	0.3	$0.000	0/3	257.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 257.1s
#326	Hy4 preview low	Tencent	1	0.5	$1.844	0/3	238.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.844 Muda wa majibu (wastani) 238.0s
#30	Muse Spark Open high	Meta	1	0.8	$1.782	2/3	145.7s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.782 Muda wa majibu (wastani) 145.7s
#136	Muse Glimmer 30B high	Meta	1	0.6	$0.506	1/3	64.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.506 Muda wa majibu (wastani) 64.8s
#116	Qwen3.5-27B medium	Qwen	1	0.8	$1.135	2/3	59.6s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.135 Muda wa majibu (wastani) 59.6s
#207	Solar Pro 4 xhigh	Upstage	1	0.9	$0.067	2/3	58.0s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.067 Muda wa majibu (wastani) 58.0s
#106	DeepSeek V4 Pro 0423 high	DeepSeek	1	0.7	$0.149	1/3	56.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.149 Muda wa majibu (wastani) 56.8s
#258	Solar Pro 4 high	Upstage	1	0.9	$0.077	2/3	55.2s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.077 Muda wa majibu (wastani) 55.2s
#375	Gemini 3.1 Flash Lite high	Google	2	0.6	$2.044	1/3	50.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.044 Muda wa majibu (wastani) 50.8s
#392	Gemini 3.1 Flash Lite Preview high	Google	1	0.8	$2.310	2/3	46.7s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $2.310 Muda wa majibu (wastani) 46.7s
#241	Solar Pro 4 medium	Upstage	1	0.9	$0.098	2/3	45.8s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.098 Muda wa majibu (wastani) 45.8s
#244	Kimi K2.5 medium	Moonshot AI	1	0.5	$0.841	1/3	43.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.841 Muda wa majibu (wastani) 43.2s
#57	Muse Spark 1.1 medium	Meta	1	0.8	$1.665	2/3	42.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.665 Muda wa majibu (wastani) 42.5s
#211	Solar Pro 4 low	Upstage	1	0.9	$0.101	2/3	42.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.101 Muda wa majibu (wastani) 42.1s
#187	Kimi K2.7 Code medium	Moonshot AI	1	0.6	$1.136	1/3	41.0s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.136 Muda wa majibu (wastani) 41.0s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa