AI BENCHY
Advertise here

AI BENCHY زمرہ ناکامیاں

مشترکہ: غلط جواب

مشترکہ
غلط جواب

دیکھیں کہ مشترکہ میں کن AI ماڈلز کو غلط جواب پیش آنے کا سب سے زیادہ امکان ہے، تاکہ آپ کمزوریاں جلدی پہچان سکیں۔ ترتیب دیں حسب: ردِعمل کا وقت (اوسط) ↑.

دکھائے گئے ماڈلز

15

کل ناکامیاں

52

سب سے زیادہ متاثر ماڈل

Mercury 2 1

ناکامی کی وجوہات

غلط جواب52 غیر معتبر ٹول کال19 API خرابی13 ٹائم آؤٹ2 کوئی جواب نہیں2 ہدایات پر عمل نہیں کیا1

زمرے

ڈومین مخصوص314 اینٹی اے آئی چالیں245 کوڈنگ194 پہیلی حل کرنا147 معلومات عامہ130 ہدایات کی پیروی53 مشترکہ52 ڈیٹا پارسنگ اور استخراج35 عمومی ذہانت32 ٹول کالنگ2
درجہ ماڈل کمپنی غلط جواب کی تعداد زمرہ اسکور درست ٹیسٹس ردِعمل کا وقت (اوسط)
#155 Mercury 2 none Inception 1 3.0 0/1 606ms
#142 Mistral Small 4 none Mistral 1 3.0 0/1 1.72s
#146 Laguna Xs.2 none Poolside 1 3.0 0/1 2.01s
#34 Qwen3.7 Max none Qwen 1 3.0 0/1 2.17s
#143 MiMo-V2.5 none Xiaomi 1 3.0 0/1 2.36s
#144 GPT-5.4 Mini none OpenAI 1 3.0 0/1 2.52s
#87 Gemini 3.1 Flash Lite minimal Google 1 3.0 0/1 2.53s
#90 Gemini 3.1 Flash Lite none Google 1 3.0 0/1 2.73s
#152 MiMo-V2-Flash none Xiaomi 1 3.0 0/1 2.87s
#125 GPT-5.4 none OpenAI 1 3.0 0/1 2.89s
#58 Gemini 3.1 Flash Lite Preview none Google 1 3.0 0/1 3.20s
#16 Gemini 3 Flash Preview low Google 1 3.0 0/1 3.27s
#157 Grok 4.1 Fast none X AI 1 3.0 0/1 3.33s
#124 Kimi K2.6 none Moonshot AI 1 3.0 0/1 3.38s
#48 Gemini 3 Flash Preview none Google 1 4.7 0/1 3.56s

غلط جواب کی تعداد کے لحاظ سے سرفہرست ماڈلز

غلط جواب کی تعداد بمقابلہ اسکور

ردِعمل کا وقت (اوسط) کے لحاظ سے سرفہرست ماڈلز

تخمینی ضائع لاگت کے لحاظ سے سرفہرست ماڈلز