Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

878

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi878 Hakuna jibu63 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni878 Mbinu za kupinga AI502 Uandishi wa msimbo477 Utatuzi wa mafumbo344 Maarifa ya jumla306 Akili ya jumla129 Kazi za mawakala126 Mchanganyiko126 Ufuataji wa maagizo111 Uchanganuzi na uchimbaji wa data93

414/414

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#320	Ember-1 none	Fireworks	2	0.5	$0.786	1/3	21.6s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.786 Muda wa majibu (wastani) 21.6s
#321	Hy3 preview medium	Tencent	2	0.5	$0.049	1/3	22.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.049 Muda wa majibu (wastani) 22.3s
#323	Granite 4.2 8B low	IBM Granite	2	0.5	$0.036	1/3	26.2s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.036 Muda wa majibu (wastani) 26.2s
#325	Qwen3.6 Max Preview none	Qwen	2	0.5	$0.228	1/3	1.23s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.228 Muda wa majibu (wastani) 1.23s
#326	Laguna XS 2.1 none	Poolside	2	0.5	$0.020	1/3	303ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.020 Muda wa majibu (wastani) 303ms
#328	Inkling Small low	Thinkingmachines	2	0.5	$0.055	1/3	852ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.055 Muda wa majibu (wastani) 852ms
#329	Ling 3.0 Flash none	Inclusionai	2	0.3	$0.004	0/3	840ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.004 Muda wa majibu (wastani) 840ms
#333	MiMo-V2-Flash medium	Xiaomi	2	0.6	$0.043	1/3	96.0s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.043 Muda wa majibu (wastani) 96.0s
#334	Mistral Small 4 medium	Mistral	2	0.6	$0.126	1/3	6.33s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.126 Muda wa majibu (wastani) 6.33s
#335	Mistral Small 4 none	Mistral	2	0.5	$0.047	1/3	377ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.047 Muda wa majibu (wastani) 377ms
#337	KAT Coder AIR V2.5 medium	Kwaipilot	2	0.3	$0.048	0/3	6.58s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.048 Muda wa majibu (wastani) 6.58s
#346	Grok 4.20 Beta medium	X AI	2	0.5	$0.750	1/3	21.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.750 Muda wa majibu (wastani) 21.3s
#347	Inkling Small none	Thinkingmachines	2	0.5	$0.054	1/3	442ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.054 Muda wa majibu (wastani) 442ms
#348	Qwen3 Coder Next default	Qwen	2	0.5	$0.067	1/3	871ms
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.067 Muda wa majibu (wastani) 871ms
#350	Gemini 3 PRO Preview medium	Google	2	0.5	$0.385	1/3	7.01s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.385 Muda wa majibu (wastani) 7.01s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa