Orodha ya Utatuzi wa mafumbo x Hakufuata maelekezo

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hakufuata maelekezo katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

128

Modeli iliyoathirika zaidi

Gemini 3.1 Flash Lite 2

Sababu za kushindwa

Jibu lisilo sahihi275 Hakufuata maelekezo128 Hitilafu ya API15 Muundo wa ziada14 Hakuna jibu11 Muda umeisha11

Kategoria

Utatuzi wa mafumbo128 Akili ya jumla115 Ufuataji wa maagizo48 Mbinu za kupinga AI44 Uandishi wa msimbo29 Mwito wa zana12 Uchanganuzi na uchimbaji wa data7 Mahususi kwa domeni2 Mchanganyiko1

121/121

Nafasi	Modeli	Kampuni	Idadi ya Hakufuata maelekezo	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#182	Gemini 3.1 Flash Lite minimal	Google	2	6.0	$0.047	1/3	2.15s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 2.15s
#189	Trinity Large Thinking medium	Arcee AI	2	5.2	$0.756	0/3	2.90s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.756 Muda wa majibu (wastani) 2.90s
#219	Gemini 3.1 Flash Lite high	Google	2	5.7	$2.044	1/3	50.8s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.044 Muda wa majibu (wastani) 50.8s
#227	Nemotron 3.5 Lightning high	NVIDIA	2	3.6	$0.134	0/3	6.09s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.134 Muda wa majibu (wastani) 6.09s
#246	Qwen3.6 35B A3B none	Qwen	2	3.2	$0.051	0/3	1.07s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.051 Muda wa majibu (wastani) 1.07s
#258	North Mini Code none	Cohere	2	3.5	$0.000	0/3	24.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 24.4s
#272	Trinity Large Thinking high	Arcee AI	2	4.7	$0.592	0/3	3.84s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.592 Muda wa majibu (wastani) 3.84s
#25	GPT-5.3-Codex medium	OpenAI	1	9.0	$0.988	2/3	5.05s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.988 Muda wa majibu (wastani) 5.05s
#26	Muse Spark 1.3 high	Meta	1	8.7	$1.653	2/3	38.4s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.653 Muda wa majibu (wastani) 38.4s
#34	GLM 5.3 Flash max	Z.ai	1	8.7	$0.059	2/3	5.61s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.059 Muda wa majibu (wastani) 5.61s
#36	Muse Spark 1.2 high	Meta	1	8.2	$1.771	2/3	10.1s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.771 Muda wa majibu (wastani) 10.1s
#37	Muse Spark 1.2 medium	Meta	1	8.7	$1.339	2/3	9.45s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.339 Muda wa majibu (wastani) 9.45s
#38	Muse Spark 1.1 medium	Meta	1	7.9	$1.420	2/3	42.5s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.420 Muda wa majibu (wastani) 42.5s
#42	GPT-5.4 medium	OpenAI	1	8.2	$1.560	2/3	9.14s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.560 Muda wa majibu (wastani) 9.14s
#44	Muse Spark 1.2 low	Meta	1	8.7	$0.655	2/3	5.17s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.655 Muda wa majibu (wastani) 5.17s

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Hakufuata maelekezo

Chuja miundo

Modeli bora kwa Idadi ya Hakufuata maelekezo

Idadi ya Hakufuata maelekezo dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa