AI BENCHY
Advertise here

AI BENCHY श्रेणी अपयशे

डोमेन-विशिष्ट: चुकीचे उत्तर

डोमेन-विशिष्ट
चुकीचे उत्तर

डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: बरोबर चाचण्या ↓.

दाखवलेली मॉडेल्स

15

एकूण अपयशे

314

सर्वाधिक प्रभावित मॉडेल

Gemini 3.5 Flash 1

अयशस्वी होण्याची कारणे

चुकीचे उत्तर314 वेळ संपला34 अतिरिक्त फॉरमॅटिंग12 API त्रुटी6 उत्तर नाही5 सूचनांचे पालन केले नाही1

श्रेणी

डोमेन-विशिष्ट314 अँटी-एआय युक्त्या245 कोडिंग194 कोडी सोडवणे147 सामान्य ज्ञान130 सूचनांचे पालन53 संयुक्त52 डेटा पार्सिंग आणि निष्कर्षण35 Samanya Buddhimatta32 टूल कॉलिंग2
क्रमांक मॉडेल कंपनी चुकीचे उत्तर संख्या श्रेणी स्कोअर बरोबर चाचण्या प्रतिसाद वेळ (सरासरी)
#2 Gemini 3.5 Flash high Google 1 7.6 2/3 14.1s
#3 Gemini 3.5 Flash low Google 1 7.7 2/3 3.39s
#4 Gemini 3.1 Pro Preview medium Google 1 7.7 2/3 32.7s
#7 Gemini 3.5 Flash medium Google 1 7.7 2/3 5.24s
#8 Claude Opus 4.7 none Anthropic 1 7.7 2/3 1.19s
#20 Gemini 3.5 Flash none Google 1 7.6 2/3 10.6s
#22 Step 3.7 Flash medium Stepfun 1 7.7 2/3 48.3s
#27 Gemma 4 31B medium Google 1 7.7 2/3 38.5s
#34 Qwen3.7 Max none Qwen 1 7.7 2/3 975ms
#48 Gemini 3 Flash Preview none Google 1 7.7 2/3 963ms
#74 Qwen3.6 Max Preview none Qwen 1 7.7 2/3 1.22s
#77 Claude Sonnet 4.6 none Anthropic 1 7.7 2/3 3.54s
#85 Gemma 4 31B none Google 1 7.7 2/3 3.22s
#108 Qwen3.5-Flash none Qwen 1 7.7 2/3 905ms
#117 Qwen3.5-35B-A3B none Qwen 1 7.7 2/3 485ms

चुकीचे उत्तर संख्या नुसार शीर्ष मॉडेल्स

चुकीचे उत्तर संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स