Orodha ya Mahususi kwa domeni x Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Mahususi kwa domeni, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

Jumla ya kushindwa

893

Modeli iliyoathirika zaidi

Claude Opus 5 3

Sababu za kushindwa

Jibu lisilo sahihi893 Hakuna jibu66 Muda umeisha46 Hitilafu ya API40 Muundo wa ziada36 Hakufuata maelekezo3

Kategoria

Mahususi kwa domeni893 Mbinu za kupinga AI519 Uandishi wa msimbo484 Utatuzi wa mafumbo352 Maarifa ya jumla315 Akili ya jumla134 Kazi za mawakala128 Mchanganyiko128 Ufuataji wa maagizo117 Uchanganuzi na uchimbaji wa data93

423/423

Nafasi	Modeli	Kampuni	Idadi ya Jibu lisilo sahihi	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#172	Claude Opus 4.8 low	Anthropic	2	0.5	$3.787	1/3	46.5s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $3.787 Muda wa majibu (wastani) 46.5s
#174	LongCat 2.0 medium	Meituan	2	0.3	$0.767	0/3	390.6s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.767 Muda wa majibu (wastani) 390.6s
#175	GLM 5 medium	Z.ai	2	0.3	$0.479	0/3	0ms
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.479 Muda wa majibu (wastani) 0ms
#177	Qwen3.6 27B medium	Qwen	2	0.3	$1.021	0/3	71.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.021 Muda wa majibu (wastani) 71.5s
#178	Claude Opus 5 none	Anthropic	2	0.5	$2.766	1/3	11.1s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.766 Muda wa majibu (wastani) 11.1s
#184	GPT-5.2 Chat default	OpenAI	2	0.3	$0.594	0/3	23.7s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $0.594 Muda wa majibu (wastani) 23.7s
#185	Qwen3.6 Max Preview medium	Qwen	2	0.5	$1.132	1/3	88.5s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $1.132 Muda wa majibu (wastani) 88.5s
#186	Gemini 3.1 Flash Lite Preview medium	Google	2	0.5	$0.158	1/3	4.09s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.158 Muda wa majibu (wastani) 4.09s
#187	Kimi K2.7 Code medium	Moonshot AI	2	0.4	$1.136	0/3	184.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.136 Muda wa majibu (wastani) 184.2s
#188	Ember-1 low	Fireworks	2	0.3	$1.488	0/3	56.2s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $1.488 Muda wa majibu (wastani) 56.2s
#192	Gemini 3 Flash Preview low	Google	2	0.5	$0.254	1/3	9.74s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.254 Muda wa majibu (wastani) 9.74s
#194	Minimax M3.1 Flash max	Minimax	2	0.6	$0.000	1/3	186.3s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.000 Muda wa majibu (wastani) 186.3s
#196	Ember-1 high	Fireworks	2	0.3	$2.405	0/3	175.5s
Jumla ya majaribio 3 Majaribio yenye makosa 3 Jumla ya gharama $2.405 Muda wa majibu (wastani) 175.5s
#197	Gemma 4 31B medium	Google	2	0.5	$0.144	1/3	59.9s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $0.144 Muda wa majibu (wastani) 59.9s
#200	Claude Opus 4.8 none	Anthropic	2	0.5	$2.334	1/3	1.76s
Jumla ya majaribio 3 Majaribio yenye makosa 2 Jumla ya gharama $2.334 Muda wa majibu (wastani) 1.76s

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mahususi kwa domeni: Jibu lisilo sahihi

Chuja miundo

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa