Orodha ya Utatuzi wa mafumbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Utatuzi wa mafumbo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

344

Modeli iliyoathirika zaidi

GPT-5.4 Nano 2

Sababu za kushindwa

Jibu lisilo sahihi344 Hakufuata maelekezo160 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

239/239

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#110	GPT-5.4 Nano medium	OpenAI	2	0.4	$0.235	0/3	3.79s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.235 Muda wa majibu (wastani) 3.79s
#154	Inkling Small high	Thinkingmachines	2	0.5	$0.398	0/3	14.4s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.398 Muda wa majibu (wastani) 14.4s
#162	LongCat 2.0 high	Meituan	2	0.3	$0.778	0/3	9.18s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.778 Muda wa majibu (wastani) 9.18s
#205	Qwen3.5-Flash none	Qwen	3	0.3	$0.089	0/3	10.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.089 Muda wa majibu (wastani) 10.9s
#217	LongCat 2.0 low	Meituan	2	0.3	$0.630	0/3	8.15s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.630 Muda wa majibu (wastani) 8.15s
#232	Qwen3.5-122B-A10B none	Qwen	2	0.4	$0.308	0/3	1.00s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.308 Muda wa majibu (wastani) 1.00s
#244	LongCat 2.0 none	Meituan	2	0.4	$0.104	0/3	2.74s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.104 Muda wa majibu (wastani) 2.74s
#257	DeepSeek V4 Flash 0423 none	DeepSeek	1	0.3	$0.149	0/3	23.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.149 Muda wa majibu (wastani) 23.7s
#262	DeepSeek V4 Flash 0731 none	DeepSeek	2	0.3	$0.053	0/3	2.74s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.053 Muda wa majibu (wastani) 2.74s
#267	Trinity Large Thinking medium	Arcee AI	1	0.5	$0.862	0/3	2.90s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.862 Muda wa majibu (wastani) 2.90s
#272	Granite 4.2 8B medium	IBM Granite	1	0.3	$0.029	0/3	76.0s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.029 Muda wa majibu (wastani) 76.0s
#283	Qwen3.6 Flash none	Qwen	2	0.4	$0.139	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.139 Muda wa majibu (wastani) 1.21s
#286	Qwen3.7 Flash none	Qwen	2	0.4	$0.028	0/3	1.39s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.028 Muda wa majibu (wastani) 1.39s
#292	Trinity Large Thinking high	Arcee AI	1	0.5	$0.794	0/3	3.84s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.794 Muda wa majibu (wastani) 3.84s
#304	Qwen3.5-35B-A3B none	Qwen	2	0.4	$0.120	0/3	1.35s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.120 Muda wa majibu (wastani) 1.35s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa