Orodha ya Akili ya jumla x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Akili ya jumla, ili uone udhaifu haraka. Panga kwa: Muda wa majibu (wastani) ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

129

Modeli iliyoathirika zaidi

Mercury 2.5 1

Sababu za kushindwa

Hakufuata maelekezo141 Jibu lisilo sahihi129 Hitilafu ya API17 Muda umeisha4

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

129/129

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#388	Mercury 2.5 none	Inception	1	0.4	$0.026	0/1	438ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.026 Muda wa majibu (wastani) 438ms
#358	Mercury 2.5 Preview default	Inception	1	0.5	$0.023	0/1	482ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.023 Muda wa majibu (wastani) 482ms
#396	Granite 4.1 8b default	IBM Granite	1	0.4	$0.007	0/1	499ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.007 Muda wa majibu (wastani) 499ms
#326	Laguna XS 2.1 none	Poolside	1	0.5	$0.020	0/1	529ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.020 Muda wa majibu (wastani) 529ms
#397	Nemotron 3.5 Lightning none	NVIDIA	1	0.4	$0.009	0/1	586ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.009 Muda wa majibu (wastani) 586ms
#309	Gemini 2.5 Flash none	Google	1	0.5	$0.017	0/1	615ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.017 Muda wa majibu (wastani) 615ms
#368	Laguna S 2.1 low	Poolside	1	0.5	$0.108	0/1	650ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.108 Muda wa majibu (wastani) 650ms
#407	Grok 4.20 none	X AI	1	0.5	$0.057	0/1	659ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.057 Muda wa majibu (wastani) 659ms
#335	Mistral Small 4 none	Mistral	1	0.4	$0.047	0/1	729ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.047 Muda wa majibu (wastani) 729ms
#340	Laguna S 2.1 medium	Poolside	1	0.5	$0.092	0/1	739ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.092 Muda wa majibu (wastani) 739ms
#380	Granite 4.2 8B none	IBM Granite	1	0.5	$0.037	0/1	770ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.037 Muda wa majibu (wastani) 770ms
#318	MiMo-V2.6-Flash none	Xiaomi	1	0.5	$0.060	0/1	779ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.060 Muda wa majibu (wastani) 779ms
#228	GLM 5.1 none	Z.ai	1	0.5	$0.451	0/1	790ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.451 Muda wa majibu (wastani) 790ms
#361	Laguna S 2.1 none	Poolside	1	0.5	$0.044	0/1	815ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.044 Muda wa majibu (wastani) 815ms
#336	Mercury 2.5 low	Inception	1	0.4	$0.020	0/1	819ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.020 Muda wa majibu (wastani) 819ms

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Akili ya jumla: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa