AI BENCHY श्रेणी अपयशे
डोमेन-विशिष्ट: उत्तर नाही
डोमेन-विशिष्ट
उत्तर नाही
डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना उत्तर नाही येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.
अयशस्वी होण्याची कारणे
| क्रमांक | मॉडेल | कंपनी | उत्तर नाही संख्या | श्रेणी स्कोअर | बरोबर चाचण्या | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|
| #71 | Step 3.7 Flash high | Stepfun | 1 | 4.1 | 0/3 | 149.6s |
| #80 | Mimo V2 Omni medium | Xiaomi | 1 | 3.0 | 0/3 | 47.9s |
| #107 | Laguna Xs.2 medium | Poolside | 1 | 4.1 | 0/3 | 11.1s |
| #149 | Nemotron 3 Nano Omni 30b A3b Reasoning medium | NVIDIA | 1 | 2.9 | 0/3 | 56.7s |
| #158 | GLM 4.7 Flash medium | Z.ai | 1 | 3.5 | 0/3 | 174.6s |