AI BENCHY
Advertise here

AI BENCHY अपयशे

सूचनांचे पालन केले नाही अपयशे

कोणत्या AI मॉडेल्सना सूचनांचे पालन केले नाही सर्वाधिक वेळा येतो ते पाहा, म्हणजे निवडण्यापूर्वी विश्वासार्हतेचे धोके लक्षात येतील. क्रम लावा: स्कोअर ↑.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

215

सर्वाधिक प्रभावित मॉडेल

Granite 4.1 8B 4

श्रेणी

कोडी सोडवणे श्रेणीत78 Samanya Buddhimatta श्रेणीत74 अँटी-एआय युक्त्या श्रेणीत30 कोडिंग श्रेणीत14 सूचनांचे पालन श्रेणीत11 टूल कॉलिंग श्रेणीत6 डोमेन-विशिष्ट श्रेणीत1 संयुक्त श्रेणीत1
क्रमांक मॉडेल कंपनी सूचनांचे पालन केले नाही संख्या स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#53 Gemini 3.1 Flash Lite high Google 3 7.3 10/18 62.0s
#51 Mimo V2 PRO medium Xiaomi 1 7.4 12/21 22.2s
#50 Gemini 3.1 Flash Lite Preview low Google 1 7.4 13/21 2.77s
#49 Qwen3.5-Flash medium Qwen 1 7.4 12/21 63.3s
#46 Qwen3.6 35B A3B medium Qwen 1 7.4 13/21 18.1s
#45 GPT-5.4 Mini medium OpenAI 3 7.5 12/21 22.3s
#44 Gemini 3.1 Flash Lite medium Google 1 7.5 13/21 3.23s
#43 MiMo-V2.5-Pro medium Xiaomi 2 7.5 12/21 26.1s
#42 GPT-5.2 medium OpenAI 3 7.5 13/21 16.9s
#40 Gemini 3.1 Flash Lite Preview medium Google 1 7.5 13/21 3.96s
#39 Qwen3.6 Flash medium Qwen 1 7.5 12/21 19.2s
#38 Grok 4.3 medium X AI 2 7.6 13/21 47.5s
#33 Hy3 preview medium Tencent 1 7.7 14/21 16.3s
#32 Gemini 3.5 Flash minimal Google 1 7.7 14/21 1.57s
#31 DeepSeek V4 Flash high DeepSeek 2 7.7 13/21 45.8s

सूचनांचे पालन केले नाही संख्या नुसार शीर्ष मॉडेल्स

सूचनांचे पालन केले नाही संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स