AI BENCHY श्रेणी अपयशे
कोडिंग: चुकीचे उत्तर
कोडिंग
चुकीचे उत्तर
कोडिंग मध्ये कोणत्या AI मॉडेल्सना चुकीचे उत्तर येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↑.
अयशस्वी होण्याची कारणे
134/134
मॉडेल फिल्टर करा
सध्याच्या शोध आणि फिल्टर्सशी जुळणारी कोणतीही मॉडेल्स नाहीत.
| क्रमांक | मॉडेल | कंपनी | चुकीचे उत्तर संख्या | श्रेणी स्कोअर | एकूण खर्च | बरोबर चाचण्या | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|
| #141 | Laguna XS 2.1 none | Poolside | 3 | 4.3 | $0.003 | 0/3 | 623ms |
| #108 | Gemini 2.5 Flash none | 2 | 5.5 | $0.016 | 1/3 | 736ms | |
| #182 | Granite 4.1 8B none | IBM Granite | 1 | 4.5 | $0.003 | 0/3 | 775ms |
| #109 | Gemini 3.1 Flash Lite minimal | 2 | 5.5 | $0.013 | 1/3 | 831ms | |
| #112 | Qwen3.5-Flash none | Qwen | 2 | 5.5 | $0.005 | 1/3 | 850ms |
| #148 | Mistral Small 4 none | Mistral | 3 | 3.7 | $0.007 | 0/3 | 901ms |
| #143 | GPT-5.4 Mini none | OpenAI | 2 | 5.5 | $0.038 | 1/3 | 913ms |
| #167 | Qwen3 Coder Next medium | Qwen | 2 | 3.7 | $0.008 | 0/3 | 924ms |
| #111 | Gemini 3.1 Flash Lite none | 2 | 5.5 | $0.013 | 1/3 | 938ms | |
| #97 | Gemini 3.1 Flash Lite Preview none | 2 | 5.5 | $0.018 | 1/3 | 967ms | |
| #142 | GPT-5.6 Luna none | OpenAI | 3 | 3.8 | $0.047 | 0/3 | 980ms |
| #116 | GPT-5.6 Terra none | OpenAI | 2 | 5.5 | $0.130 | 1/3 | 1.00s |
| #114 | Nemotron 3 Ultra 550b A55b none | NVIDIA | 2 | 5.5 | $0.027 | 1/3 | 1.02s |
| #170 | Mercury 2 none | Inception | 3 | 3.4 | $0.011 | 0/3 | 1.03s |
| #168 | Grok 4.20 Beta none | X AI | 1 | 1.8 | $0.087 | 0/1 | 1.14s |