منهجية القياس

الاختبارات

تُختار الأسئلة في الغالب بشكل عشوائي إلى حد ما، عبر مهام ومجالات مختلفة. ومن الناحية الإحصائية يفترض أن يحقق النموذج الأفضل أداءً أفضل في المتوسط من النموذج الأضعف على مهمة عشوائية غير منتقاة بعناية. لدي خلفية في البرمجة التنافسية، لذلك فإن التفكير في الاختبارات والحالات الطرفية يأتي بشكل طبيعي بالنسبة لي.

هذه ليست أي قيمة "IQ" معيارية. الدرجة ليس لها وحدة؛ إنها مجرد قيمة اعتباطية تُظهر مدى جودة أداء النموذج على مجموعة الاختبارات كاملةً (الإجابات الصحيحة + الاتساق). أنا لا أنتقي النماذج ولا أعدّل الاختبارات لتناسب أي نموذج. عندما تخطر لي فكرة اختبار جديد، أضيفه، وأعيد اختبار جميع النماذج، وأعيد حساب الدرجات.

عادةً ما تأتي الأسئلة من أفكار بسيطة مثل: "أتساءل إن كانت النماذج تؤدي جيداً عندما يُطلب منها القيام بـ X أو Y أو Z". على سبيل المثال: "أجب بالعددين الطبيعيين المتساويين a و b اللذين يكون مجموعهما 2. أجب بهذا التنسيق الدقيق: a,b". بعض أنظمة الذكاء الاصطناعي قد تعطي الإجابة الخاطئة، مثل "2,2". وبعضها قد لا يلتزم بشرط أن يكون العددان متساويين، مثل "0,2". وبعضها قد يتجاهل تنسيق الإخراج، مثل "The answer is a = 1 and b = 1". وبعضها قد يجيب ببساطة بشكل صحيح بـ "1,1".

بعض الاختبارات أكثر تعقيداً من هذا المثال، لكن الفكرة واضحة. هذا لا يفضّل أي نموذج بعينه، وهذه الأسئلة في العموم سهلة جداً على البشر. وليس ذنبي إذا أخرج Claude شيئاً مثل "**1**, **1**" مع إضافة تنسيق markdown، بينما تلتزم معظم النماذج الأخرى بالتنسيق المطلوب بشكل صحيح.

Cristian