Orodha ya Mchanganyiko x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mchanganyiko, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3 Flash Preview 2

Sababu za kushindwa

Mwito wa zana si sahihi91 Jibu lisilo sahihi68 Hakuna jibu29 Hitilafu ya API26 Muda umeisha5 Hakufuata maelekezo1 Muundo wa ziada1

Kategoria

Mahususi kwa domeni412 Mbinu za kupinga AI293 Uandishi wa msimbo252 Utatuzi wa mafumbo201 Maarifa ya jumla168 Mchanganyiko68 Ufuataji wa maagizo61 Akili ya jumla59 Uchanganuzi na uchimbaji wa data41 Mwito wa zana3

63/63

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#105	Gemini 3.1 Flash Lite low	Google	1	3.2	$0.621	0/2	161.2s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.621 Muda wa majibu (wastani) 161.2s
#106	Gemini 3.1 Flash Lite Preview none	Google	1	3.0	$0.052	0/2	6.23s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.052 Muda wa majibu (wastani) 6.23s
#107	Qwen3.5 Plus 2026-02-15 none	Qwen	1	6.5	$0.073	1/2	64.8s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.073 Muda wa majibu (wastani) 64.8s
#109	Mimo V2 PRO medium	Xiaomi	1	2.3	$0.333	0/1	64.7s
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.333 Muda wa majibu (wastani) 64.7s
#111	LongCat 2.0 none	Meituan	1	6.5	$0.044	1/2	28.4s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.044 Muda wa majibu (wastani) 28.4s
#115	Gemma 4 31B none	Google	1	3.8	$0.035	0/2	30.0s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.035 Muda wa majibu (wastani) 30.0s
#116	Seed-2.0-Lite none	Bytedance Seed	1	3.0	$0.066	0/2	25.6s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.066 Muda wa majibu (wastani) 25.6s
#117	GPT-5.6 Luna low	OpenAI	1	2.8	$0.249	0/2	13.7s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.249 Muda wa majibu (wastani) 13.7s
#118	Gemini 2.5 Flash none	Google	1	3.0	$0.017	0/2	61.2s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.017 Muda wa majibu (wastani) 61.2s
#120	Gemini 3.1 Flash Lite minimal	Google	1	3.0	$0.047	0/2	7.75s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 7.75s
#122	Gemini 3.1 Flash Lite none	Google	1	3.0	$0.046	0/2	9.49s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.046 Muda wa majibu (wastani) 9.49s
#125	Qwen3.5-Flash none	Qwen	1	2.9	$0.073	0/2	243.6s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.073 Muda wa majibu (wastani) 243.6s
#126	Qwen3.5 Plus 2026-04-20 none	Qwen	1	6.4	$0.122	1/2	109.7s
Jumla ya majaribio 2 Majaribio yenye makosa 1 Jumla ya gharama $0.122 Muda wa majibu (wastani) 109.7s
#127	Qwen3.5-35B-A3B none	Qwen	1	3.8	$0.106	0/2	128.3s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.106 Muda wa majibu (wastani) 128.3s
#129	Nemotron 3 Ultra none	NVIDIA	1	3.0	$0.095	0/2	21.1s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.095 Muda wa majibu (wastani) 21.1s

←

1 2 3 4 5

→

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mchanganyiko: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa