डोमेन-विशिष्ट x चुकीचे उत्तर क्रमवारी

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

314

सर्वाधिक प्रभावित मॉडेल

अयशस्वी होण्याची कारणे

चुकीचे उत्तर314 वेळ संपला34 अतिरिक्त फॉरमॅटिंग12 API त्रुटी6 उत्तर नाही5 सूचनांचे पालन केले नाही1

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2

क्रमांक	मॉडेल	कंपनी	चुकीचे उत्तर संख्या	श्रेणी स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#9	GPT-5.5 medium	OpenAI	2	5.3	1/3	164.1s
#10	Claude Opus 4.8 medium	Anthropic	2	5.3	1/3	14.2s
#12	Gemini 3.1 Flash Lite Preview high	Google	2	5.3	1/3	127.6s
#13	Grok 4.20 Beta medium	X AI	2	5.3	1/3	21.3s
#15	GPT-5.3-Codex medium	OpenAI	2	5.9	1/3	64.3s
#16	Gemini 3 Flash Preview low	Google	2	5.3	1/3	8.05s
#17	GLM 5 medium	Z.ai	2	3.5	0/3	0ms
#19	Seed-2.0-Lite medium	Bytedance Seed	2	5.9	1/3	88.7s
#21	GPT-5.4 medium	OpenAI	2	5.3	1/3	74.3s
#23	GLM 5 Turbo medium	Z.ai	2	2.9	0/3	71.1s
#24	GPT-5.2 Chat none	OpenAI	2	5.3	1/3	17.8s
#28	Gemini 2.5 Flash medium	Google	2	5.9	1/3	37.3s
#33	Hy3 preview medium	Tencent	2	5.3	1/3	22.3s
#35	Gemini 3 PRO Preview medium	Google	2	5.3	1/3	7.01s
#37	Gemma 4 26B A4B medium	Google	2	2.9	0/3	23.6s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स