Orodha ya Maarifa ya jumla x Jibu lisilo sahihi

Kushindwa kwa kategoria za AI BENCHY

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Maarifa ya jumla, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

133

Modeli iliyoathirika zaidi

Qwen3.7 Max 1

Sababu za kushindwa

Jibu lisilo sahihi133 Hitilafu ya API13 Hakuna jibu8

Kategoria

Mahususi kwa domeni325 Mbinu za kupinga AI250 Uandishi wa msimbo201 Utatuzi wa mafumbo154 Maarifa ya jumla133 Ufuataji wa maagizo54 Mchanganyiko53 Akili ya jumla36 Uchanganuzi na uchimbaji wa data35 Mwito wa zana2

133/133

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#76	MiMo-V2.5 medium	Xiaomi	1	3.0	$0.063	0/1	51.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.063 Muda wa majibu (wastani) 51.3s
#77	Mimo V2 PRO medium	Xiaomi	1	3.0	$0.333	0/1	82.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.333 Muda wa majibu (wastani) 82.7s
#78	gpt-oss-120b medium	OpenAI	1	3.0	$0.013	0/1	26.5s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.013 Muda wa majibu (wastani) 26.5s
#79	GPT-5 Nano medium	OpenAI	1	3.0	$0.081	0/1	20.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.081 Muda wa majibu (wastani) 20.1s
#80	Step 3.5 Flash medium	Stepfun	1	3.0	$0.070	0/1	108.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.070 Muda wa majibu (wastani) 108.4s
#81	Qwen3.6 27B medium	Qwen	1	3.0	$0.440	0/1	81.0s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.440 Muda wa majibu (wastani) 81.0s
#82	Gemini 3.1 Flash Lite Preview low	Google	1	3.0	$0.026	0/1	1.35s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.026 Muda wa majibu (wastani) 1.35s
#84	Gemini 3.1 Flash Lite Preview none	Google	1	3.0	$0.018	0/1	814ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.018 Muda wa majibu (wastani) 814ms
#85	Gemini 3.1 Flash Lite low	Google	1	3.0	$0.028	0/1	1.46s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.028 Muda wa majibu (wastani) 1.46s
#86	Hy3 preview low	Tencent	1	3.0	$0.018	0/1	41.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.018 Muda wa majibu (wastani) 41.7s
#87	Nemotron 3 Super medium	NVIDIA	1	3.0	$0.021	0/1	55.3s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.021 Muda wa majibu (wastani) 55.3s
#88	Gemma 4 31B medium	Google	1	3.0	$0.033	0/1	90.1s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.033 Muda wa majibu (wastani) 90.1s
#89	Qwen3.5-35B-A3B medium	Qwen	1	3.0	$0.401	0/1	177.4s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.401 Muda wa majibu (wastani) 177.4s
#90	GPT-5.5 none	OpenAI	1	3.0	$0.231	0/1	5.01s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.231 Muda wa majibu (wastani) 5.01s
#92	Seed-2.0-Lite none	Bytedance Seed	1	3.0	$0.019	0/1	1.96s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.019 Muda wa majibu (wastani) 1.96s

←

1 4 5 6 9

→

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Maarifa ya jumla: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa