AI BENCHY श्रेणी अपयशे
डेटा पार्सिंग आणि निष्कर्षण: चुकीचे उत्तर
डेटा पार्सिंग आणि निष्कर्षण
चुकीचे उत्तर
डेटा पार्सिंग आणि निष्कर्षण मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: बरोबर चाचण्या ↓.
अयशस्वी होण्याची कारणे
| क्रमांक | मॉडेल | कंपनी | चुकीचे उत्तर संख्या | श्रेणी स्कोअर | बरोबर चाचण्या | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|
| #10 | Claude Opus 4.8 medium | Anthropic | 1 | 7.1 | 1/2 | 12.3s |
| #43 | MiMo-V2.5-Pro medium | Xiaomi | 1 | 7.3 | 1/2 | 18.8s |
| #51 | Mimo V2 PRO medium | Xiaomi | 1 | 7.3 | 1/2 | 17.2s |
| #57 | Step 3.7 Flash low | Stepfun | 1 | 7.3 | 1/2 | 2.29s |
| #68 | Claude Opus 4.8 none | Anthropic | 1 | 7.3 | 1/2 | 1.77s |
| #75 | Ring-2.6-1T medium | Inclusionai | 1 | 6.5 | 1/2 | 37.4s |
| #81 | Mercury 2 medium | Inception | 1 | 7.3 | 1/2 | 1.11s |
| #99 | gpt-oss-120b medium | OpenAI | 1 | 6.4 | 1/2 | 1.98s |
| #118 | Qwen3.6 27B none | Qwen | 1 | 7.3 | 1/2 | 2.06s |
| #119 | Cobuddy medium | Baidu | 1 | 6.3 | 1/2 | 17.4s |
| #122 | GLM 4.7 Flash none | Z.ai | 1 | 7.3 | 1/2 | 4.82s |
| #130 | MiniMax M2.7 medium | Minimax | 1 | 6.3 | 1/2 | 21.9s |
| #133 | DeepSeek V3.2 none | DeepSeek | 1 | 6.3 | 1/2 | 9.42s |
| #135 | Kimi K2.5 none | Moonshot AI | 1 | 7.3 | 1/2 | 42.1s |
| #136 | Elephant Alpha medium | Openrouter | 1 | 6.5 | 1/2 | 979ms |