Orodha ya kushindwa kwa Hitilafu ya API

Kushindwa kwa AI BENCHY

Ona ni modeli gani za AI hukutana na Hitilafu ya API mara nyingi zaidi ili utambue hatari za utegemevu kabla ya kuchagua. Panga kwa: Majaribio sahihi ↓.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

Gemini 3 PRO Preview 1

Kategoria

Katika kategoria Mwito wa zana6 Katika kategoria Uandishi wa msimbo6 Katika kategoria Uchanganuzi na uchimbaji wa data6 Katika kategoria Mchanganyiko5 Katika kategoria Mahususi kwa domeni2 Katika kategoria Ufuataji wa maagizo1 Katika kategoria Utatuzi wa mafumbo1

Nafasi	Modeli	Kampuni	Idadi ya Hitilafu ya API	Alama	Majaribio sahihi	Muda wa majibu (wastani)
#12	Gemini 3 PRO Preview medium	Google	1	8.4	14/18	9.06s
#14	Gemma 4 31B medium	Google	2	8.3	13/18	24.9s
#20	Qwen3.6 Plus medium	Qwen	1	8.1	13/18	15.3s
#33	GLM 5.1 medium	Z.ai	1	7.8	12/18	24.1s
#32	Qwen3.5-Flash medium	Qwen	1	7.8	11/18	66.7s
#41	MiMo-V2-Flash medium	Xiaomi	1	7.5	11/18	23.4s
#43	Qwen3.5-35B-A3B medium	Qwen	1	7.4	10/18	44.5s
#48	Gemma 4 31B none	Google	2	6.9	10/18	4.02s
#47	Grok 4.20 medium	X AI	1	7.0	9/18	10.3s
#51	Nemotron 3 Super medium	NVIDIA	1	6.7	9/18	19.1s
#50	Hunter Alpha medium	OpenRouter	1	6.7	8/18	10.3s
#56	Grok 4.20 Multi Agent Beta medium	X AI	2	6.4	7/18	9.80s
#72	Hunter Alpha none	OpenRouter	1	5.7	6/18	4.58s
#73	Mistral Small 4 medium	Mistral	2	5.7	5/18	5.64s
#84	gpt-oss-120b none	OpenAI	3	5.2	4/18	12.0s

Kushindwa kwa Hitilafu ya API

Modeli bora kwa Idadi ya Hitilafu ya API

Idadi ya Hitilafu ya API dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)