Orodha ya Utatuzi wa mafumbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Utatuzi wa mafumbo, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

201

Modeli iliyoathirika zaidi

GPT-5.4 Nano 2

Sababu za kushindwa

Jibu lisilo sahihi201 Hakufuata maelekezo90 Hitilafu ya API12 Muundo wa ziada8 Muda umeisha5 Hakuna jibu3

Kategoria

Mahususi kwa domeni412 Mbinu za kupinga AI293 Uandishi wa msimbo252 Utatuzi wa mafumbo201 Maarifa ya jumla168 Mchanganyiko68 Ufuataji wa maagizo61 Akili ya jumla59 Uchanganuzi na uchimbaji wa data41 Mwito wa zana3

142/142

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#53	GPT-5.4 Nano medium	OpenAI	2	4.1	$0.138	0/3	3.79s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.138 Muda wa majibu (wastani) 3.79s
#91	LongCat 2.0 low	Meituan	2	3.1	$0.391	0/3	8.15s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.391 Muda wa majibu (wastani) 8.15s
#97	LongCat 2.0 high	Meituan	2	3.1	$0.469	0/3	9.18s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.469 Muda wa majibu (wastani) 9.18s
#111	LongCat 2.0 none	Meituan	2	4.0	$0.044	0/3	2.74s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.044 Muda wa majibu (wastani) 2.74s
#124	Qwen3.6 Flash none	Qwen	2	3.5	$0.062	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.062 Muda wa majibu (wastani) 1.21s
#125	Qwen3.5-Flash none	Qwen	3	3.1	$0.073	0/3	10.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.073 Muda wa majibu (wastani) 10.9s
#127	Qwen3.5-35B-A3B none	Qwen	2	3.7	$0.106	0/3	1.35s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.106 Muda wa majibu (wastani) 1.35s
#137	North Mini Code medium	Cohere	3	3.3	$0.000	0/3	19.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 19.7s
#138	Kimi K2.6 none	Moonshot AI	2	3.1	$0.184	0/3	1.40s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.184 Muda wa majibu (wastani) 1.40s
#140	Nemotron 3 Super medium	NVIDIA	2	3.0	$0.050	0/3	3.15s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.050 Muda wa majibu (wastani) 3.15s
#142	Qwen3.5-122B-A10B none	Qwen	2	3.8	$0.247	0/3	1.00s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.247 Muda wa majibu (wastani) 1.00s
#144	KAT-Coder-Air V2.5 high	Kwaipilot	3	3.5	$0.077	0/3	2.47s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.077 Muda wa majibu (wastani) 2.47s
#149	KAT-Coder-Air V2.5 medium	Kwaipilot	3	3.6	$0.048	0/3	1.87s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.048 Muda wa majibu (wastani) 1.87s
#150	DeepSeek V4 Flash none	DeepSeek	1	3.1	$0.044	0/3	23.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.044 Muda wa majibu (wastani) 23.7s
#155	Kimi K2.5 none	Moonshot AI	3	3.0	$0.127	0/3	4.04s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.127 Muda wa majibu (wastani) 4.04s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa