Orodha ya Akili ya jumla x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Akili ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

134

Modeli iliyoathirika zaidi

Claude Haiku 5.5 1

Sababu za kushindwa

Hakufuata maelekezo142 Jibu lisilo sahihi134 Hitilafu ya API17 Muda umeisha4

Kategoria

Mahususi kwa domeni893 Mbinu za kupinga AI519 Uandishi wa msimbo484 Utatuzi wa mafumbo352 Maarifa ya jumla315 Akili ya jumla134 Kazi za mawakala128 Mchanganyiko128 Ufuataji wa maagizo117 Uchanganuzi na uchimbaji wa data93

134/134

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#211	Solar Pro 4 low	Upstage	1	0.6	$0.101	0/1	61.2s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.101 Muda wa majibu (wastani) 61.2s
#216	GPT-5.6 Sol none	OpenAI	1	0.6	$0.795	0/1	1.52s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.795 Muda wa majibu (wastani) 1.52s
#220	GLM 5.2 none	Z.ai	1	0.6	$0.250	0/1	4.42s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.250 Muda wa majibu (wastani) 4.42s
#222	LongCat 2.0 low	Meituan	1	0.3	$0.630	0/1	22.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.630 Muda wa majibu (wastani) 22.5s
#224	Step 3.7 Flash high	Stepfun	1	0.6	$1.478	0/1	4.17s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $1.478 Muda wa majibu (wastani) 4.17s
#225	Beam 1.0 501B A23B medium	Reflection	1	0.5	$0.499	0/1	1.87s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.499 Muda wa majibu (wastani) 1.87s
#226	KAT-Coder-Pro V2.5 low	Kwaipilot	1	0.4	$0.568	0/1	2.32s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.568 Muda wa majibu (wastani) 2.32s
#228	Minimax M3.1 Flash high	Minimax	1	0.5	$0.000	0/1	5.16s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 5.16s
#231	Mercury 2.5 high	Inception	1	0.5	$0.044	0/1	2.69s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.044 Muda wa majibu (wastani) 2.69s
#232	Beam 1.0 501B A23B xhigh	Reflection	1	0.5	$0.688	0/1	2.50s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.688 Muda wa majibu (wastani) 2.50s
#234	GLM 5.1 none	Z.ai	1	0.5	$0.451	0/1	790ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.451 Muda wa majibu (wastani) 790ms
#235	KAT-Coder-Pro V2.5 high	Kwaipilot	1	0.5	$0.506	0/1	3.27s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.506 Muda wa majibu (wastani) 3.27s
#237	Laguna XS 2.1 medium	Poolside	1	0.5	$0.083	0/1	4.15s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.083 Muda wa majibu (wastani) 4.15s
#240	Beam 1.0 501B A23B max	Reflection	1	0.6	$0.799	0/1	3.63s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.799 Muda wa majibu (wastani) 3.63s
#243	Minimax M3.1 Flash xhigh	Minimax	1	0.5	$0.000	0/1	6.26s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 6.26s

←

1 3 4 5 9

→

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa