AI BENCHY
Advertise here

AI BENCHY श्रेणी अपयशे

संयुक्त: चुकीचे उत्तर

संयुक्त
चुकीचे उत्तर

संयुक्त मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↑.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

52

सर्वाधिक प्रभावित मॉडेल

Mercury 2 1

अयशस्वी होण्याची कारणे

चुकीचे उत्तर52 अवैध टूल कॉल19 API त्रुटी13 उत्तर नाही2 वेळ संपला2 सूचनांचे पालन केले नाही1

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#155 Mercury 2 none Inception 1 3.0 0/1 606ms
#142 Mistral Small 4 none Mistral 1 3.0 0/1 1.72s
#146 Laguna Xs.2 none Poolside 1 3.0 0/1 2.01s
#34 Qwen3.7 Max none Qwen 1 3.0 0/1 2.17s
#143 MiMo-V2.5 none Xiaomi 1 3.0 0/1 2.36s
#144 GPT-5.4 Mini none OpenAI 1 3.0 0/1 2.52s
#87 Gemini 3.1 Flash Lite minimal Google 1 3.0 0/1 2.53s
#90 Gemini 3.1 Flash Lite none Google 1 3.0 0/1 2.73s
#152 MiMo-V2-Flash none Xiaomi 1 3.0 0/1 2.87s
#125 GPT-5.4 none OpenAI 1 3.0 0/1 2.89s
#58 Gemini 3.1 Flash Lite Preview none Google 1 3.0 0/1 3.20s
#16 Gemini 3 Flash Preview low Google 1 3.0 0/1 3.27s
#157 Grok 4.1 Fast none X AI 1 3.0 0/1 3.33s
#124 Kimi K2.6 none Moonshot AI 1 3.0 0/1 3.38s
#48 Gemini 3 Flash Preview none Google 1 4.7 0/1 3.56s

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स