Orodha ya modeli za Uandishi wa msimbo

Kategoria ya AI BENCHY

Ona ni modeli gani za AI zinafanya vizuri zaidi katika Uandishi wa msimbo, zipi zinabaki thabiti, na pengo kubwa liko wapi.

Modeli zilizoonyeshwa

Wastani wa Alama ya Uandishi wa msimbo

5.7

Modeli bora

Gemini 3.5 Flash 10.0

Sababu za kushindwa

Kwa sababu ya kushindwa Jibu lisilo sahihi230 Kwa sababu ya kushindwa Hitilafu ya API43 Kwa sababu ya kushindwa Muda umeisha25 Kwa sababu ya kushindwa Hakuna jibu18 Kwa sababu ya kushindwa Hakufuata maelekezo16 Kwa sababu ya kushindwa Muundo wa ziada12

189/189

Nafasi	Modeli	Kampuni	Alama ya Uandishi wa msimbo	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#156	Grok 4.20 Multi Agent Beta medium	X AI	3.3	5.0	$5.599	1/1	27.1s
Jumla ya majaribio 1 Majaribio yenye makosa 0 Jumla ya gharama $5.599 Muda wa majibu (wastani) 27.1s
#180	Grok Build 0.1 none	X AI	3.3	4.2	$0.547	1/1	21.4s
Jumla ya majaribio 1 Majaribio yenye makosa 0 Jumla ya gharama $0.547 Muda wa majibu (wastani) 21.4s
#187	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	3.3	3.5	$0.000	1/1	1.27s
Jumla ya majaribio 1 Majaribio yenye makosa 0 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.27s
#162	Nemotron 3 Super none	NVIDIA	3.3	4.9	$0.006	0/3	2.64s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.006 Muda wa majibu (wastani) 2.64s
#87	Mimo V2 Omni medium	Xiaomi	3.3	6.8	$0.683	0/3	183.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.683 Muda wa majibu (wastani) 183.9s
#177	GLM 4.7 Flash medium	Z.ai	3.2	4.3	$0.054	0/3	55.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.054 Muda wa majibu (wastani) 55.3s
#159	GPT-4o-mini none	OpenAI	3.2	5.0	$0.006	0/3	1.63s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.006 Muda wa majibu (wastani) 1.63s
#101	Nemotron 3 Super medium	NVIDIA	3.1	6.3	$0.020	0/3	147.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.020 Muda wa majibu (wastani) 147.3s
#146	DeepSeek V3.2 none	DeepSeek	3.1	5.3	$0.016	0/3	14.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 14.5s
#106	Gemini 3 PRO Preview medium	Google	3.0	6.2	$0.385	0/3	0ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.385 Muda wa majibu (wastani) 0ms
#72	Gemma 4 26B A4B medium	Google	2.9	7.2	$0.045	0/3	272.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.045 Muda wa majibu (wastani) 272.5s
#185	Qwen3.5-9B medium	Qwen	2.9	3.8	$0.036	0/3	100.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.036 Muda wa majibu (wastani) 100.9s
#178	Hy3 preview none	Tencent	2.7	4.3	$0.003	0/3	4.56s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.003 Muda wa majibu (wastani) 4.56s
#170	Laguna M.1 none	Poolside	2.5	4.6	$0.009	0/1	2.93s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.009 Muda wa majibu (wastani) 2.93s
#94	Step 3.5 Flash medium	Stepfun	2.4	6.6	$0.070	0/2	258.4s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.070 Muda wa majibu (wastani) 258.4s

Orodha ya Uandishi wa msimbo

Chuja miundo

Modeli bora kwa Alama ya Uandishi wa msimbo

Alama ya Uandishi wa msimbo dhidi ya jumla ya gharama

Modeli bora kwa Muda wa majibu (wastani)