Orodha ya modeli za Ufuataji wa maagizo

Ona ni modeli gani za AI zinafanya vizuri zaidi katika Ufuataji wa maagizo, zipi zinabaki thabiti, na pengo kubwa liko wapi.

Modeli zilizoonyeshwa

Wastani wa Alama ya Ufuataji wa maagizo

8.5

Modeli bora

Gemini 3.6 Flash 10.0

Sababu za kushindwa

Kwa sababu ya kushindwa Jibu lisilo sahihi82 Kwa sababu ya kushindwa Hakufuata maelekezo48 Kwa sababu ya kushindwa Muundo wa ziada7 Kwa sababu ya kushindwa Muda umeisha5 Kwa sababu ya kushindwa Hakuna jibu2 Kwa sababu ya kushindwa Hitilafu ya API2

316/316

Nafasi	Modeli	Kampuni	Alama ya Ufuataji wa maagizo	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#314	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	4.8	3.2	$0.000	0/2	541ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 541ms
#245	Laguna S 2.1 high	Poolside	4.6	5.4	$0.114	0/2	453ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.114 Muda wa majibu (wastani) 453ms
#194	Trinity Large Thinking medium	Arcee AI	4.4	6.1	$0.756	0/2	3.99s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.756 Muda wa majibu (wastani) 3.99s
#199	Trinity Large Thinking low	Arcee AI	4.4	6.0	$0.625	0/2	4.07s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.625 Muda wa majibu (wastani) 4.07s
#290	Laguna S 2.1 none	Poolside	4.3	4.5	$0.022	0/2	566ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.022 Muda wa majibu (wastani) 566ms
#266	Laguna S 2.1 low	Poolside	4.3	5.0	$0.082	0/2	423ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.082 Muda wa majibu (wastani) 423ms
#239	Laguna S 2.1 medium	Poolside	4.2	5.4	$0.053	0/2	400ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.053 Muda wa majibu (wastani) 400ms
#247	Laguna XS 2.1 none	Poolside	3.8	5.3	$0.008	0/2	364ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 364ms
#264	MiniMax M2.7 medium	Minimax	3.8	5.0	$0.208	0/2	12.8s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.208 Muda wa majibu (wastani) 12.8s
#254	Granite 4.2 8B medium	IBM Granite	3.8	5.2	$0.009	0/2	36.9s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.009 Muda wa majibu (wastani) 36.9s
#303	Granite 4.1 8B none	IBM Granite	3.6	4.0	$0.007	0/2	344ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.007 Muda wa majibu (wastani) 344ms
#281	Trinity Large Preview none	Arcee AI	3.5	4.8	$0.008	0/2	822ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.008 Muda wa majibu (wastani) 822ms
#302	Ling 3.0 Tiny none	Inclusionai	3.1	4.0	$0.000	0/2	2.44s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 2.44s
#258	Granite 4.2 8B low	IBM Granite	3.0	5.1	$0.012	0/2	75.8s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.012 Muda wa majibu (wastani) 75.8s
#296	Granite 4.2 8B none	IBM Granite	3.0	4.3	$0.026	0/2	79.5s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.026 Muda wa majibu (wastani) 79.5s

Orodha ya Ufuataji wa maagizo

Chuja miundo

Modeli bora kwa Alama ya Ufuataji wa maagizo

Alama ya Ufuataji wa maagizo dhidi ya jumla ya gharama

Modeli bora kwa Muda wa majibu (wastani)