डोमेन-विशिष्ट x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

314

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर314 वेळ संपला34 अतिरिक्त फॉरमॅटिंग12 API त्रुटी6 उत्तर नाही5 सूचनांचे पालन केले नाही1

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#38	Grok 4.3 medium	X AI	2	5.3	1/3	181.7s
#46	Qwen3.6 35B A3B medium	Qwen	2	5.3	1/3	22.5s
#50	Gemini 3.1 Flash Lite Preview low	Google	2	5.3	1/3	2.36s
#54	GPT-5 Mini medium	OpenAI	2	3.6	0/3	44.6s
#57	Step 3.7 Flash low	Stepfun	2	5.3	1/3	43.3s
#58	Gemini 3.1 Flash Lite Preview none	Google	2	5.3	1/3	942ms
#59	GLM 5V Turbo medium	Z.ai	2	5.3	1/3	38.1s
#61	Gemini 3.1 Flash Lite low	Google	2	5.3	1/3	1.52s
#62	Step 3.5 Flash medium	Stepfun	2	5.3	1/3	170.5s
#64	MiMo-V2-Flash medium	Xiaomi	2	5.9	1/3	96.0s
#68	Claude Opus 4.8 none	Anthropic	2	5.3	1/3	1.66s
#70	GPT-5.4 Nano medium	OpenAI	2	5.9	1/3	38.2s
#71	Step 3.7 Flash high	Stepfun	2	4.1	0/3	149.6s
#72	DeepSeek V3.2 medium	DeepSeek	2	2.9	0/3	24.3s
#76	Kimi K2.5 medium	Moonshot AI	2	3.5	0/3	137.3s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स