Orodha ya kushindwa kwa Muundo wa ziada

Kushindwa kwa AI BENCHY

Ona ni modeli gani za AI hukutana na Muundo wa ziada mara nyingi zaidi ili utambue hatari za utegemevu kabla ya kuchagua. Panga kwa: Jumla ya gharama ↑.

Modeli zilizoonyeshwa

Jumla ya kushindwa

Modeli iliyoathirika zaidi

North Mini Code 2

Kategoria

Katika kategoria Mbinu za kupinga AI18 Katika kategoria Mahususi kwa domeni13 Katika kategoria Uandishi wa msimbo11 Katika kategoria Uchanganuzi na uchimbaji wa data4 Katika kategoria Utatuzi wa mafumbo4 Katika kategoria Ufuataji wa maagizo2 Katika kategoria Mchanganyiko1

32/32

Nafasi	Modeli	Kampuni	Idadi ya Muundo wa ziada	Alama	Jumla ya gharama	Majaribio sahihi	Muda wa majibu (wastani)
#155	Grok 4.20 none	X AI	1	4.4	$0.057	6/18	1.11s
Jumla ya majaribio 18 Majaribio yenye makosa 12 Jumla ya gharama $0.057 Muda wa majibu (wastani) 1.11s
#76	MiMo-V2.5 medium	Xiaomi	2	6.7	$0.063	12/21	27.1s
Jumla ya majaribio 21 Majaribio yenye makosa 9 Jumla ya gharama $0.063 Muda wa majibu (wastani) 27.1s
#51	MiMo-V2.5-Pro medium	Xiaomi	3	7.4	$0.106	12/21	26.1s
Jumla ya majaribio 21 Majaribio yenye makosa 9 Jumla ya gharama $0.106 Muda wa majibu (wastani) 26.1s
#40	MiniMax M3 medium	Minimax	1	7.6	$0.131	11/21	68.2s
Jumla ya majaribio 21 Majaribio yenye makosa 10 Jumla ya gharama $0.131 Muda wa majibu (wastani) 68.2s
#41	DeepSeek V4 Pro high	DeepSeek	1	7.6	$0.157	9/21	77.2s
Jumla ya majaribio 21 Majaribio yenye makosa 12 Jumla ya gharama $0.157 Muda wa majibu (wastani) 77.2s
#64	GLM 5.1 medium	Z.ai	1	7.1	$0.292	12/21	33.7s
Jumla ya majaribio 21 Majaribio yenye makosa 9 Jumla ya gharama $0.292 Muda wa majibu (wastani) 33.7s
#55	Claude Sonnet 4.6 none	Anthropic	4	7.3	$0.316	11/21	5.04s
Jumla ya majaribio 21 Majaribio yenye makosa 10 Jumla ya gharama $0.316 Muda wa majibu (wastani) 5.04s
#77	Mimo V2 PRO medium	Xiaomi	1	6.7	$0.333	12/21	22.2s
Jumla ya majaribio 21 Majaribio yenye makosa 9 Jumla ya gharama $0.333 Muda wa majibu (wastani) 22.2s
#29	Qwen3.5-27B medium	Qwen	1	7.9	$0.536	13/21	68.4s
Jumla ya majaribio 21 Majaribio yenye makosa 8 Jumla ya gharama $0.536 Muda wa majibu (wastani) 68.4s
#57	Claude Opus 4.8 none	Anthropic	3	7.2	$0.539	12/21	3.47s
Jumla ya majaribio 21 Majaribio yenye makosa 9 Jumla ya gharama $0.539 Muda wa majibu (wastani) 3.47s
#53	Grok 4.20 medium	X AI	1	7.3	$0.609	12/21	27.7s
Jumla ya majaribio 21 Majaribio yenye makosa 9 Jumla ya gharama $0.609 Muda wa majibu (wastani) 27.7s
#37	Grok 4.3 medium	X AI	1	7.7	$0.614	13/21	47.5s
Jumla ya majaribio 21 Majaribio yenye makosa 8 Jumla ya gharama $0.614 Muda wa majibu (wastani) 47.5s
#73	Mimo V2 Omni medium	Xiaomi	1	6.8	$0.683	10/21	41.2s
Jumla ya majaribio 21 Majaribio yenye makosa 11 Jumla ya gharama $0.683 Muda wa majibu (wastani) 41.2s
#42	Grok Build 0.1 medium	X AI	3	7.6	$0.927	13/21	49.9s
Jumla ya majaribio 21 Majaribio yenye makosa 8 Jumla ya gharama $0.927 Muda wa majibu (wastani) 49.9s
#31	Claude Sonnet 4.6 medium	Anthropic	3	7.8	$1.418	13/21	17.1s
Jumla ya majaribio 21 Majaribio yenye makosa 8 Jumla ya gharama $1.418 Muda wa majibu (wastani) 17.1s

Kushindwa kwa Muundo wa ziada

Chuja miundo

Modeli bora kwa Idadi ya Muundo wa ziada

Idadi ya Muundo wa ziada dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)