Orodha ya Mchanganyiko x Hitilafu ya API

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Hitilafu ya API katika Mchanganyiko, ili uone udhaifu haraka. Panga kwa: Majaribio sahihi ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3.5 Flash 2

Sababu za kushindwa

Mwito wa zana si sahihi91 Jibu lisilo sahihi68 Hakuna jibu29 Hitilafu ya API26 Muda umeisha5 Hakufuata maelekezo1 Muundo wa ziada1

Kategoria

Uandishi wa msimbo45 Mchanganyiko26 Mwito wa zana17 Mbinu za kupinga AI14 Uchanganuzi na uchimbaji wa data14 Maarifa ya jumla13 Akili ya jumla12 Utatuzi wa mafumbo12 Mahususi kwa domeni7 Ufuataji wa maagizo1

24/24

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama ya kategoria	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#79	Gemini 3.5 Flash none	Google	2	3.0	$1.079	0/2	0ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $1.079 Muda wa majibu (wastani) 0ms
#90	Qwen3.6 35B A3B medium	Qwen	1	3.0	$0.746	0/2	817.6s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.746 Muda wa majibu (wastani) 817.6s
#110	Gemma 4 31B medium	Google	1	2.9	$0.163	0/2	433.1s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.163 Muda wa majibu (wastani) 433.1s
#115	Gemma 4 31B none	Google	1	3.8	$0.035	0/2	30.0s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.035 Muda wa majibu (wastani) 30.0s
#129	Nemotron 3 Ultra none	NVIDIA	1	3.0	$0.095	0/2	21.1s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.095 Muda wa majibu (wastani) 21.1s
#161	Qwen3.6 35B A3B none	Qwen	1	3.8	$0.061	0/2	39.5s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.061 Muda wa majibu (wastani) 39.5s
#179	Ring-2.6-1T none	Inclusionai	2	3.0	$0.026	0/2	0ms
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.026 Muda wa majibu (wastani) 0ms
#181	Grok 4.20 Multi Agent Beta medium	X AI	1	1.5	$5.599	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $5.599 Muda wa majibu (wastani) 0ms
#182	KAT-Coder-Air V2.5 none	Kwaipilot	1	3.8	$0.067	0/2	73.0s
Jumla ya majaribio 2 Majaribio yenye makosa 2 Jumla ya gharama $0.067 Muda wa majibu (wastani) 73.0s
#202	Grok Build 0.1 none	X AI	1	1.5	$0.547	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.547 Muda wa majibu (wastani) 0ms
#206	gpt-oss-120b none	OpenAI	1	1.5	$0.010	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.010 Muda wa majibu (wastani) 0ms
#207	Nemotron 3 Nano Omni 30b A3b Reasoning medium	NVIDIA	1	1.5	$0.000	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 0ms
#208	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	1	1.5	$0.000	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.000 Muda wa majibu (wastani) 0ms
#209	Step 3.5 Flash none	Stepfun	1	1.5	$0.020	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.020 Muda wa majibu (wastani) 0ms
#210	LFM2-24B-A2B none	Liquid	1	1.5	$0.001	0/1	0ms
Jumla ya majaribio 1 Majaribio yenye makosa 1 Jumla ya gharama $0.001 Muda wa majibu (wastani) 0ms

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa

Mchanganyiko: Hitilafu ya API

Chuja miundo

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa