Orodha ya modeli za Ufuataji wa maagizo

Ona ni modeli gani za AI zinafanya vizuri zaidi katika Ufuataji wa maagizo, zipi zinabaki thabiti, na pengo kubwa liko wapi.

Modeli zilizoonyeshwa

Wastani wa Alama ya Ufuataji wa maagizo

8.5

Modeli bora

Gemini 3.6 Flash 10.0

Sababu za kushindwa

Kwa sababu ya kushindwa Jibu lisilo sahihi82 Kwa sababu ya kushindwa Hakufuata maelekezo48 Kwa sababu ya kushindwa Muundo wa ziada7 Kwa sababu ya kushindwa Muda umeisha5 Kwa sababu ya kushindwa Hakuna jibu2 Kwa sababu ya kushindwa Hitilafu ya API2

316/316

Nafasi	Modeli	Kampuni	Alama ya Ufuataji wa maagizo	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#53	Qwen3.8 27B high	Qwen	9.8	8.4	~$0.287	2/2	8.24s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama ~$0.287 Muda wa majibu (wastani) 8.24s
#54	Seed 2.1 Turbo medium	Bytedance Seed	9.8	8.4	$1.951	2/2	7.48s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $1.951 Muda wa majibu (wastani) 7.48s
#58	Gemini 2.5 Flash medium	Google	9.8	8.2	$0.644	2/2	2.62s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.644 Muda wa majibu (wastani) 2.62s
#59	Muse Spark 1.3 low	Meta	9.8	8.2	$0.689	2/2	5.04s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.689 Muda wa majibu (wastani) 5.04s
#61	Qwen3.8 2.4T A95B low	Qwen	9.8	8.1	$2.672	2/2	19.5s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $2.672 Muda wa majibu (wastani) 19.5s
#69	Inkling medium	Thinkingmachines	9.8	8.0	$0.383	2/2	6.17s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.383 Muda wa majibu (wastani) 6.17s
#72	GPT-5.2 Chat none	OpenAI	9.8	7.9	$0.594	2/2	5.51s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.594 Muda wa majibu (wastani) 5.51s
#73	Step 3.7 Flash medium	Stepfun	9.8	7.9	$0.495	2/2	1.83s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.495 Muda wa majibu (wastani) 1.83s
#77	Gemini 3.5 Flash Lite medium	Google	9.8	7.8	$0.272	2/2	1.72s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.272 Muda wa majibu (wastani) 1.72s
#84	Qwen3.7 Flash high	Qwen	9.8	7.8	$0.052	2/2	9.41s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.052 Muda wa majibu (wastani) 9.41s
#86	Seed-2.0-Code low	Bytedance Seed	9.8	7.7	$0.767	2/2	12.2s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.767 Muda wa majibu (wastani) 12.2s
#93	Nemotron 3 Ultra medium	NVIDIA	9.8	7.6	$0.701	2/2	6.35s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.701 Muda wa majibu (wastani) 6.35s
#98	GPT 5.3 Chat none	OpenAI	9.8	7.5	$0.533	2/2	3.51s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.533 Muda wa majibu (wastani) 3.51s
#101	Mercury 2.5 Preview medium	Inception	9.8	7.5	$0.024	2/2	1.35s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.024 Muda wa majibu (wastani) 1.35s
#102	GPT-5.4 Mini medium	OpenAI	9.8	7.5	$0.786	2/2	2.13s
Jumla ya majaribio 2 Majaribio yenye makosa 0 Jumla ya gharama $0.786 Muda wa majibu (wastani) 2.13s

Orodha ya Ufuataji wa maagizo

Chuja miundo

Modeli bora kwa Alama ya Ufuataji wa maagizo

Alama ya Ufuataji wa maagizo dhidi ya jumla ya gharama

Modeli bora kwa Muda wa majibu (wastani)

Orodha ya Ufuataji wa maagizo

Chuja miundo

Modeli bora kwa Alama ya Ufuataji wa maagizo

Alama ya Ufuataji wa maagizo dhidi ya jumla ya gharamaMakadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 2.8999 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.286715.

Modeli bora kwa Muda wa majibu (wastani)

Alama ya Ufuataji wa maagizo dhidi ya jumla ya gharama