AI BENCHY زمرہ ناکامیاں
کوڈنگ: غلط جواب
کوڈنگ
غلط جواب
دیکھیں کہ کوڈنگ میں کن AI ماڈلز کو غلط جواب پیش آنے کا سب سے زیادہ امکان ہے، تاکہ آپ کمزوریاں جلدی پہچان سکیں۔
ناکامی کی وجوہات
134/134
ماڈلز فلٹر کریں
موجودہ تلاش اور فلٹرز سے کوئی ماڈل مطابقت نہیں رکھتا۔
| درجہ | ماڈل | کمپنی | غلط جواب کی تعداد | زمرہ اسکور | کل لاگت | درست ٹیسٹس | ردِعمل کا وقت (اوسط) |
|---|---|---|---|---|---|---|---|
| #31 | Nemotron 3 Ultra 550b A55b medium | NVIDIA | 1 | 8.4 | $0.158 | 2/3 | 26.5s |
| #33 | GPT-5.4 Mini medium | OpenAI | 1 | 8.4 | $0.526 | 2/3 | 57.9s |
| #34 | Qwen3.5 Plus 2026-02-15 medium | Qwen | 1 | 6.6 | $0.310 | 1/3 | 180.7s |
| #36 | Claude Sonnet 5 medium | Anthropic | 1 | 9.0 | $0.550 | 2/3 | 17.3s |
| #37 | Qwen3.6 Plus medium | Qwen | 1 | 6.1 | $0.294 | 1/3 | 153.1s |
| #39 | Claude Sonnet 4.6 medium | Anthropic | 1 | 5.7 | $1.418 | 1/3 | 33.3s |
| #45 | Qwen3.5-122B-A10B medium | Qwen | 1 | 6.0 | $0.588 | 1/3 | 114.5s |
| #46 | Claude Opus 4.8 low | Anthropic | 1 | 6.6 | $1.270 | 1/3 | 7.58s |
| #47 | Grok 4.3 medium | X AI | 1 | 5.9 | $0.614 | 1/3 | 41.2s |
| #50 | Step 3.7 Flash low | Stepfun | 1 | 8.2 | $0.341 | 2/3 | 9.46s |
| #54 | Grok Build 0.1 medium | X AI | 1 | 5.7 | $0.927 | 1/3 | 108.5s |
| #57 | Mercury 2 medium | Inception | 1 | 8.2 | $0.058 | 2/3 | 2.04s |
| #61 | DeepSeek V3.2 medium | DeepSeek | 1 | 6.0 | $0.042 | 1/3 | 248.7s |
| #63 | Seed-2.0-Mini medium | Bytedance Seed | 1 | 5.5 | $0.044 | 1/3 | 220.5s |
| #68 | Claude Sonnet 4.6 none | Anthropic | 1 | 5.5 | $0.316 | 1/3 | 5.19s |