Orodha ya Utatuzi wa mafumbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

275

Modeli iliyoathirika zaidi

Qwen3.5-Flash 3

Sababu za kushindwa

Jibu lisilo sahihi275 Hakufuata maelekezo128 Hitilafu ya API15 Muundo wa ziada14 Hakuna jibu11 Muda umeisha11

Kategoria

Mahususi kwa domeni654 Mbinu za kupinga AI386 Uandishi wa msimbo361 Utatuzi wa mafumbo275 Maarifa ya jumla244 Mchanganyiko95 Akili ya jumla90 Ufuataji wa maagizo82 Uchanganuzi na uchimbaji wa data66 Mwito wa zana5

186/186

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#200	Qwen3.5-Flash none	Qwen	3	3.1	$0.073	0/3	10.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.073 Muda wa majibu (wastani) 10.9s
#211	North Mini Code medium	Cohere	3	3.3	$0.000	0/3	19.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 19.7s
#220	KAT-Coder-Air V2.5 high	Kwaipilot	3	3.5	$0.077	0/3	2.47s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.077 Muda wa majibu (wastani) 2.47s
#226	KAT-Coder-Air V2.5 medium	Kwaipilot	3	3.6	$0.048	0/3	1.87s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.048 Muda wa majibu (wastani) 1.87s
#234	Laguna S 2.1 medium	Poolside	3	3.1	$0.053	0/3	2.62s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.053 Muda wa majibu (wastani) 2.62s
#238	Kimi K2.5 none	Moonshot AI	3	3.0	$0.101	0/3	4.04s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.101 Muda wa majibu (wastani) 4.04s
#241	Inkling Small none	Thinkingmachines	3	3.2	$0.054	0/3	665ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.054 Muda wa majibu (wastani) 665ms
#242	Laguna XS 2.1 none	Poolside	3	3.0	$0.008	0/3	1.01s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.008 Muda wa majibu (wastani) 1.01s
#247	Dots 3 Note Preview none	Dots Studio	3	3.3	$0.000	0/3	1.50s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.50s
#250	Nemotron 3.5 Lightning medium	NVIDIA	3	4.2	$0.156	0/3	10.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.156 Muda wa majibu (wastani) 10.5s
#254	Qwen3 Coder Next none	Qwen	3	3.0	$0.026	0/3	24.3s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.026 Muda wa majibu (wastani) 24.3s
#270	Nemotron 3.5 Lightning low	NVIDIA	3	3.6	$0.140	0/3	6.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.140 Muda wa majibu (wastani) 6.21s
#274	KAT-Coder-Air V2.5 none	Kwaipilot	3	2.9	$0.070	0/3	1.84s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.070 Muda wa majibu (wastani) 1.84s
#281	Mercury 2 none	Inception	3	3.1	$0.030	0/3	535ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.030 Muda wa majibu (wastani) 535ms
#285	Laguna S 2.1 none	Poolside	3	3.1	$0.022	0/3	828ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.022 Muda wa majibu (wastani) 828ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa