AI BENCHY श्रेणी अपयशे
डोमेन-विशिष्ट: चुकीचे उत्तर
डोमेन-विशिष्ट
चुकीचे उत्तर
डोमेन-विशिष्ट मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.
अयशस्वी होण्याची कारणे
| क्रमांक | मॉडेल | कंपनी | चुकीचे उत्तर संख्या | श्रेणी स्कोअर | बरोबर चाचण्या | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|
| #81 | Mercury 2 medium | Inception | 3 | 2.9 | 0/3 | 6.48s |
| #87 | Gemini 3.1 Flash Lite minimal | 3 | 2.9 | 0/3 | 1.02s | |
| #88 | Qwen3.7 Plus none | Qwen | 3 | 3.0 | 0/3 | 868ms |
| #90 | Gemini 3.1 Flash Lite none | 3 | 2.9 | 0/3 | 762ms | |
| #91 | GPT-5.5 none | OpenAI | 3 | 2.9 | 0/3 | 1.31s |
| #98 | GLM 5 none | Z.ai | 3 | 3.0 | 0/3 | 2.24s |
| #99 | gpt-oss-120b medium | OpenAI | 3 | 2.9 | 0/3 | 50.9s |
| #102 | Gemma 4 26B A4B none | 3 | 3.6 | 0/3 | 2.49s | |
| #106 | Grok 4.20 Beta none | X AI | 3 | 3.0 | 0/3 | 611ms |
| #110 | Seed-2.0-Lite none | Bytedance Seed | 3 | 3.6 | 0/3 | 1.33s |
| #112 | GLM 5.1 none | Z.ai | 3 | 2.9 | 0/3 | 1.99s |
| #115 | Qwen3.5-27B none | Qwen | 3 | 3.0 | 0/3 | 540ms |
| #119 | Cobuddy medium | Baidu | 3 | 2.9 | 0/3 | 128.2s |
| #126 | gpt-oss-120b none | OpenAI | 3 | 3.0 | 0/3 | 35.0s |
| #136 | Elephant Alpha medium | Openrouter | 3 | 3.0 | 0/3 | 925ms |