الإنصاف والتحيز الخوارزمي
يتعلق الإنصاف الخوارزمي بمدى وكيفية تعامل أنظمة اتخاذ القرار الآلية مع الأفراد والجماعات على قدم المساواة، والطرق التي يمكن للبيانات والنماذج من خلالها ترميز أو تضخيم التحيز.
Definition
دراسة المساواة والتمييز في أنظمة اتخاذ القرار الآلية، بما في ذلك قياس التحيز والمفاهيم الرسمية والأخلاقية للمعاملة العادلة.
Scope
يغطي هذا الموضوع مصادر التحيز في البيانات وأنظمة التعلم الآلي، والتعريفات الرسمية المتنافسة للإنصاف (مثل التكافؤ الديموغرافي، وتساوي الاحتمالات، والمعايرة)، ونتائج الاستحالة التي تظهر أن هذه التعريفات قد تتعارض، والعلاقة بين الإنصاف الإحصائي والعدالة الجوهرية، والعواقب الاجتماعية لاتخاذ القرارات الآلية في مجالات مثل التوظيف والإقراض والعدالة الجنائية. ويصف النقاشات التقنية والأخلاقية دون تحديد معيار الإنصاف الذي يجب أن يتبناه أي نظام.
Core questions
- كيف يدخل التحيز والتمييز إلى أنظمة اتخاذ القرار القائمة على البيانات؟
- ماذا يعني أن تكون الخوارزمية 'عادلة'، وهل يمكن تحقيق تعريفات متنافسة في آن واحد؟
- كيف ترتبط المفاهيم الإحصائية للإنصاف بالمفاهيم القانونية والأخلاقية للعدالة؟
- من هو المسؤول عن النتائج التمييزية التي تنتجها الأنظمة الآلية؟
Key theories
- التأثير المتباين في الأنظمة القائمة على البيانات
- يحلل باروكاس وسيلبست كيف يمكن لتنقيب البيانات أن ينتج نتائج تمييزية حتى بدون نية تمييزية، من خلال بيانات التدريب المتحيزة، والوكلاء، واختيار الميزات.
- عدم توافق معايير الإنصاف
- تُظهر الأعمال الرسمية أن التعريفات الإحصائية المميزة للإنصاف — مثل المعايرة ومعدلات الخطأ المتوازنة عبر المجموعات — لا يمكن عادةً تحقيقها جميعًا في وقت واحد إلا في حالات خاصة، مما يفرض خيارات قائمة على القيم.
History
تزايد الاهتمام بالإنصاف الخوارزمي في منتصف العقد الثاني من القرن الحادي والعشرين مع نشر أنظمة التعلم الآلي في سياقات ذات أهمية. وقد أسس تحليل باروكاس وسيلبست لعام 2016 للتأثير المتباين، والتعريفات الرسمية للإنصاف من مجتمع علوم الحاسوب، والانتقادات الشائعة مثل تلك التي قدمتها أونيل، الأسئلة الأساسية للمجال.
Debates
- أي تعريف للإنصاف يجب استخدامه
- نظرًا لأن معايير الإنصاف الرسمية قد تتعارض، يركز النقاش على ما إذا كان أي تعريف واحد مناسبًا، وكيفية الاختيار بينها في السياق، وما إذا كانت المقاييس الرسمية يمكن أن تستوعب العدالة الجوهرية على الإطلاق.
Key figures
- Solon Barocas
- Andrew Selbst
- Cynthia Dwork
- Cathy O'Neil
Related topics
Seminal works
- barocas2016
- oneil2016
Frequently asked questions
- هل يمكن أن تكون الخوارزمية متحيزة حتى لو تجاهلت السمات المحمية؟
- نعم. إزالة سمات مثل العرق أو الجنس لا يضمن الإنصاف، لأن الميزات الأخرى يمكن أن تكون بمثابة وكلاء لها، وهي ظاهرة محورية في مناقشات التأثير المتباين.
- هل يوجد تعريف واحد صحيح للإنصاف الخوارزمي؟
- لا يوجد إجماع. وقد اقتُرحت عدة تعريفات رسمية، وتُظهر النتائج أنها قد تكون غير متوافقة بشكل متبادل، لذا فإن اختيار أحدها ينطوي على أحكام أخلاقية وسياسية متنازع عليها.