कोडिंग: चुकीचे उत्तर
कोडिंग
चुकीचे उत्तर
कोडिंग मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.
अयशस्वी होण्याची कारणे
265/265
मॉडेल फिल्टर करा
सध्याच्या शोध आणि फिल्टर्सशी जुळणारी कोणतीही मॉडेल्स नाहीत.
| क्रमांक | मॉडेल | कंपनी | चुकीचे उत्तर संख्या | श्रेणी स्कोअर | एकूण खर्च | बरोबर चाचण्या | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|
| #223 | LongCat 2.0 none | Meituan | 2 | 0.5 | $0.104 | 1/3 | 2.85s |
| #225 | Qwen3.6 27B none | Qwen | 2 | 0.5 | $0.148 | 1/3 | 4.16s |
| #227 | Gemini 3.1 Flash Lite Preview low | 2 | 0.5 | $0.736 | 1/3 | 1.39s | |
| #228 | Gemini 3.1 Flash Lite low | 2 | 0.5 | $0.717 | 1/3 | 1.53s | |
| #233 | Space Bunny Alpha medium | Stealth | 2 | 0.5 | $0.000 | 1/3 | 6.82s |
| #237 | Grok 4.20 medium | X AI | 2 | 0.6 | $1.246 | 1/3 | 109.9s |
| #238 | Space Bunny Alpha xhigh | Stealth | 2 | 0.7 | $0.000 | 1/3 | 10.6s |
| #242 | Gemini 3.1 Flash Lite Preview none | 2 | 0.5 | $0.090 | 1/3 | 967ms | |
| #248 | Qwen3.5 Plus 2026-04-20 none | Qwen | 2 | 0.4 | $0.216 | 0/3 | 1.69s |
| #249 | Granite 4.2 8B medium | IBM Granite | 2 | 0.5 | $0.029 | 1/3 | 12.1s |
| #250 | KAT-Coder-Pro V2.5 default | Kwaipilot | 2 | 0.6 | $0.742 | 1/3 | 22.5s |
| #253 | GLM 5.3 FlashX low | Z.ai | 2 | 0.5 | $0.157 | 1/3 | 5.45s |
| #256 | Seed-2.0-Lite none | Bytedance Seed | 2 | 0.6 | $0.114 | 1/3 | 2.83s |
| #257 | Gemini 3.1 Flash Lite minimal | 2 | 0.5 | $0.080 | 1/3 | 831ms | |
| #258 | gpt-oss-120b medium | OpenAI | 2 | 0.6 | $0.030 | 1/3 | 38.4s |