Orodha ya Utatuzi wa mafumbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

204

Modeli iliyoathirika zaidi

Qwen3.5-Flash 3

Sababu za kushindwa

Jibu lisilo sahihi204 Hakufuata maelekezo90 Hitilafu ya API12 Muundo wa ziada8 Muda umeisha5 Hakuna jibu3

Kategoria

Mahususi kwa domeni421 Mbinu za kupinga AI293 Uandishi wa msimbo259 Utatuzi wa mafumbo204 Maarifa ya jumla172 Mchanganyiko69 Akili ya jumla62 Ufuataji wa maagizo61 Uchanganuzi na uchimbaji wa data41 Mwito wa zana3

145/145

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#206	MiMo-V2-Flash none	Xiaomi	2	5.3	$0.025	1/3	1.86s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.025 Muda wa majibu (wastani) 1.86s
#207	Granite 4.1 8B none	IBM Granite	2	3.2	$0.007	0/3	608ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 608ms
#213	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	2	2.9	$0.000	0/3	1.40s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.40s
#216	LFM2-24B-A2B none	Liquid	2	3.8	$0.001	0/3	1.78s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.001 Muda wa majibu (wastani) 1.78s
#5	GPT-5.6 Sol low	OpenAI	1	8.2	$0.971	2/3	3.44s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.971 Muda wa majibu (wastani) 3.44s
#7	GPT-5.6 Sol medium	OpenAI	1	8.2	$1.316	2/3	2.98s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.316 Muda wa majibu (wastani) 2.98s
#12	Gemini 3.5 Flash medium	Google	1	7.7	$0.642	2/3	2.38s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.642 Muda wa majibu (wastani) 2.38s
#26	Claude Sonnet 5 medium	Anthropic	1	7.7	$0.922	2/3	2.98s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.922 Muda wa majibu (wastani) 2.98s
#28	Gemini 2.5 Flash medium	Google	1	7.7	$0.643	2/3	3.18s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.643 Muda wa majibu (wastani) 3.18s
#29	GPT-5 Mini medium	OpenAI	1	5.6	$0.237	1/3	15.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.237 Muda wa majibu (wastani) 15.2s
#31	Gemini 3.5 Flash-Lite high	Google	1	8.2	$0.584	2/3	1.85s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.584 Muda wa majibu (wastani) 1.85s
#32	Inkling high	Thinkingmachines	1	6.9	$1.006	1/3	10.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.006 Muda wa majibu (wastani) 10.7s
#34	GPT-5.2 Chat none	OpenAI	1	7.7	$0.604	2/3	4.10s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $0.604 Muda wa majibu (wastani) 4.10s
#35	GLM 5.2 high	Z.ai	1	6.0	$0.817	1/3	33.7s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.817 Muda wa majibu (wastani) 33.7s
#38	GPT-5.6 Terra high	OpenAI	1	7.7	$1.055	2/3	5.45s
Jumla ya majaribio 3 Majaribio yenye makosa 1 Jumla ya gharama $1.055 Muda wa majibu (wastani) 5.45s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa