डोमेन-विशिष्ट x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

314

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर314 वेळ संपला34 अतिरिक्त फॉरमॅटिंग12 API त्रुटी6 उत्तर नाही5 सूचनांचे पालन केले नाही1

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#82	Hy3 preview high	Tencent	2	5.3	1/3	109.0s
#84	Grok 4.20 Multi Agent Beta medium	X AI	2	2.9	0/3	24.7s
#89	Hy3 preview low	Tencent	2	5.9	1/3	40.4s
#92	Laguna M.1 medium	Poolside	2	5.3	1/3	24.1s
#93	Qwen3.6 Plus Preview medium	Qwen	2	3.0	0/3	22.1s
#95	Qwen3.5 Plus 2026-02-15 none	Qwen	2	5.3	1/3	1.17s
#96	Ring-2.6-1T none	Inclusionai	2	5.3	1/3	73.4s
#97	Gemini 2.5 Flash none	Google	2	5.9	1/3	495ms
#100	Grok Build 0.1 none	X AI	2	3.6	0/3	103.7s
#101	Mimo V2 Omni none	Xiaomi	2	5.3	1/3	2.10s
#104	Nemotron 3 Ultra 550b A55b none	NVIDIA	2	5.3	1/3	698ms
#105	Nemotron 3 Super medium	NVIDIA	2	2.9	0/3	16.2s
#107	Laguna Xs.2 medium	Poolside	2	4.1	0/3	11.1s
#109	GLM 5V Turbo none	Z.ai	2	5.3	1/3	2.09s
#111	Owl Alpha medium	Openrouter	2	5.3	1/3	8.58s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स