Orodha ya Utatuzi wa mafumbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

344

Modeli iliyoathirika zaidi

Qwen3.5-Flash 3

Sababu za kushindwa

Jibu lisilo sahihi344 Hakufuata maelekezo160 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

239/239

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#288	GPT-5.6 Terra none	OpenAI	2	0.5	$0.377	1/3	1.23s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.377 Muda wa majibu (wastani) 1.23s
#289	DeepSeek V4.1 Flash none	DeepSeek	2	0.5	$0.391	1/3	1.49s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.391 Muda wa majibu (wastani) 1.49s
#301	Solar Pro 4 none	Upstage	2	0.5	$0.022	1/3	2.33s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.022 Muda wa majibu (wastani) 2.33s
#304	Qwen3.5-35B-A3B none	Qwen	2	0.4	$0.120	0/3	1.35s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.120 Muda wa majibu (wastani) 1.35s
#305	Nemotron 3.5 Super VL none	NVIDIA	2	0.5	$0.040	0/3	754ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.040 Muda wa majibu (wastani) 754ms
#306	Nemotron 3 Super medium	NVIDIA	2	0.3	$0.081	0/3	3.15s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.081 Muda wa majibu (wastani) 3.15s
#307	Kimi K2.6 none	Moonshot AI	2	0.3	$0.486	0/3	1.40s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.486 Muda wa majibu (wastani) 1.40s
#310	GPT-6 Luna none	OpenAI	2	0.5	$0.026	1/3	26.0s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.026 Muda wa majibu (wastani) 26.0s
#317	Hy4 preview low	Tencent	2	0.5	$1.844	0/3	238.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.844 Muda wa majibu (wastani) 238.0s
#323	Granite 4.2 8B low	IBM Granite	2	0.3	$0.036	0/3	90.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.036 Muda wa majibu (wastani) 90.8s
#328	Inkling Small low	Thinkingmachines	2	0.5	$0.055	1/3	1.56s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.055 Muda wa majibu (wastani) 1.56s
#329	Ling 3.0 Flash none	Inclusionai	2	0.5	$0.004	1/3	1.49s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.004 Muda wa majibu (wastani) 1.49s
#334	Mistral Small 4 medium	Mistral	2	0.3	$0.126	0/3	2.17s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.126 Muda wa majibu (wastani) 2.17s
#335	Mistral Small 4 none	Mistral	2	0.3	$0.047	0/3	399ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.047 Muda wa majibu (wastani) 399ms
#336	Mercury 2.5 low	Inception	2	0.6	$0.020	1/3	792ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.020 Muda wa majibu (wastani) 792ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa