Orodha ya Utatuzi wa mafumbo x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Utatuzi wa mafumbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

344

Modeli iliyoathirika zaidi

Qwen3.5-Flash 3

Sababu za kushindwa

Jibu lisilo sahihi344 Hakufuata maelekezo160 Hitilafu ya API35 Muundo wa ziada16 Hakuna jibu14 Muda umeisha11

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

239/239

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#339	Apodex 1.1 Mini default	Apodex	2	0.3	$0.000	0/3	1.20s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 1.20s
#344	GPT-4o-mini default	OpenAI	2	0.4	$0.024	0/3	1.21s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.024 Muda wa majibu (wastani) 1.21s
#345	KAT Coder AIR V2.5 low	Kwaipilot	2	0.3	$0.046	0/3	1.57s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.046 Muda wa majibu (wastani) 1.57s
#349	Laguna S 2.1 high	Poolside	2	0.3	$0.145	0/3	1.62s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.145 Muda wa majibu (wastani) 1.62s
#351	Ling 2.6 1t default	Inclusionai	2	0.3	$0.016	0/3	5.36s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.016 Muda wa majibu (wastani) 5.36s
#353	Qwen3.5-9B none	Qwen	2	0.3	$0.041	0/3	621ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.041 Muda wa majibu (wastani) 621ms
#354	Hy4 preview none	Tencent	2	0.5	$0.165	0/3	24.1s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.165 Muda wa majibu (wastani) 24.1s
#363	Qwen3 Coder Next medium	Qwen	2	0.3	$0.071	0/3	1.25s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.071 Muda wa majibu (wastani) 1.25s
#368	Laguna S 2.1 low	Poolside	2	0.3	$0.108	0/3	2.70s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.108 Muda wa majibu (wastani) 2.70s
#373	Ling 2.6 Flash default	Inclusionai	2	0.3	$0.002	0/3	6.51s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.002 Muda wa majibu (wastani) 6.51s
#379	Trinity Large Preview default	Arcee AI	2	0.4	$0.008	0/3	1.97s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.008 Muda wa majibu (wastani) 1.97s
#381	Cobuddy medium	Baidu	2	0.4	$0.000	0/3	12.8s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 12.8s
#385	GLM 4.7 Flash medium	Z.ai	2	0.3	$0.193	0/3	12.9s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.193 Muda wa majibu (wastani) 12.9s
#396	Granite 4.1 8b default	IBM Granite	2	0.3	$0.007	0/3	608ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.007 Muda wa majibu (wastani) 608ms
#399	Ling 3.0 Tiny high	Inclusionai	2	0.3	$0.000	0/3	54.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.000 Muda wa majibu (wastani) 54.2s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Utatuzi wa mafumbo: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa