AI BENCHY زمرہ ناکامیاں
کوڈنگ: ہدایات پر عمل نہیں کیا
کوڈنگ
ہدایات پر عمل نہیں کیا
دیکھیں کہ کوڈنگ میں کن AI ماڈلز کو ہدایات پر عمل نہیں کیا پیش آنے کا سب سے زیادہ امکان ہے، تاکہ آپ کمزوریاں جلدی پہچان سکیں۔ ترتیب دیں حسب: کل لاگت ↑.
ناکامی کی وجوہات
16/16
ماڈلز فلٹر کریں
موجودہ تلاش اور فلٹرز سے کوئی ماڈل مطابقت نہیں رکھتا۔
| درجہ | ماڈل | کمپنی | ہدایات پر عمل نہیں کیا کی تعداد | زمرہ اسکور | کل لاگت | درست ٹیسٹس | ردِعمل کا وقت (اوسط) |
|---|---|---|---|---|---|---|---|
| #159 | Cobuddy medium | Baidu | 1 | 3.7 | $0.000 | 0/3 | 79.2s |
| #182 | Granite 4.1 8B none | IBM Granite | 1 | 4.5 | $0.003 | 0/3 | 775ms |
| #136 | MiMo-V2.5-Pro none | Xiaomi | 1 | 4.3 | $0.017 | 0/3 | 1.41s |
| #145 | DeepSeek V3.2 none | DeepSeek | 1 | 3.1 | $0.017 | 0/3 | 14.5s |
| #178 | MiMo-V2-Flash none | Xiaomi | 1 | 4.3 | $0.025 | 0/3 | 2.64s |
| #73 | GLM 5.2 none | Z.ai | 1 | 3.7 | $0.030 | 0/3 | 7.55s |
| #139 | Qwen3.5 Plus 2026-04-20 none | Qwen | 1 | 3.9 | $0.032 | 0/3 | 1.69s |
| #157 | Laguna M.1 medium | Poolside | 1 | 1.5 | $0.033 | 0/1 | 35.6s |
| #70 | DeepSeek V4 Pro none | DeepSeek | 1 | 5.6 | $0.034 | 1/3 | 13.4s |
| #184 | Qwen3.5-9B medium | Qwen | 1 | 2.9 | $0.036 | 0/3 | 100.9s |
| #132 | Grok 4.1 Fast medium | X AI | 1 | 7.8 | $0.069 | 0/1 | 23.6s |
| #127 | Kimi K2.6 none | Moonshot AI | 1 | 5.5 | $0.078 | 1/3 | 82.6s |
| #84 | Gemini 3.5 Flash minimal | 1 | 5.6 | $0.108 | 1/3 | 2.75s | |
| #69 | Claude Opus 4.8 none | Anthropic | 1 | 5.5 | $0.539 | 1/3 | 3.29s |
| #11 | Gemini 3.5 Flash medium | 1 | 7.9 | $0.582 | 2/3 | 12.6s |