انصاف و سوگیری الگوریتمی
انصاف الگوریتمی به این موضوع میپردازد که آیا و چگونه سیستمهای تصمیمگیری خودکار با افراد و گروهها به طور عادلانه رفتار میکنند، و اینکه دادهها و مدلها چگونه میتوانند سوگیری را رمزگذاری یا تقویت کنند.
Definition
مطالعه برابری و تبعیض در سیستمهای تصمیمگیری خودکار، شامل اندازهگیری سوگیری و مفاهیم رسمی و اخلاقی رفتار منصفانه.
Scope
این موضوع به منابع سوگیری در دادهها و سیستمهای یادگیری ماشین، تعاریف رسمی رقیب انصاف (مانند برابری جمعیتی، شانس برابر، و کالیبراسیون)، نتایج عدم امکانپذیری که نشان میدهد اینها میتوانند با هم در تضاد باشند، رابطه بین انصاف آماری و عدالت اساسی، و پیامدهای اجتماعی تصمیمگیری خودکار در زمینههایی مانند استخدام، وامدهی، و عدالت کیفری میپردازد. این موضوع بحثهای فنی و اخلاقی را بدون تجویز اینکه کدام معیار انصاف را هر سیستمی باید اتخاذ کند، توصیف میکند.
Core questions
- چگونه سوگیری و تبعیض وارد سیستمهای تصمیمگیری مبتنی بر داده میشوند؟
- منصفانه بودن یک الگوریتم به چه معناست، و آیا تعاریف رقیب میتوانند همزمان برآورده شوند؟
- مفاهیم آماری انصاف چگونه با مفاهیم حقوقی و اخلاقی عدالت مرتبط هستند؟
- چه کسی مسئول نتایج تبعیضآمیز تولید شده توسط سیستمهای خودکار است؟
Key theories
- تأثیر نامتناسب در سیستمهای مبتنی بر داده
- باروکاس و سلبست تحلیل میکنند که چگونه دادهکاوی میتواند حتی بدون قصد تبعیضآمیز، از طریق دادههای آموزشی سوگیرانه، واسطهها، و انتخاب ویژگیها، نتایج تبعیضآمیز تولید کند.
- ناسازگاری معیارهای انصاف
- کارهای رسمی نشان میدهد که تعاریف آماری متمایز انصاف — مانند کالیبراسیون و نرخ خطای متعادل در گروهها — معمولاً نمیتوانند همزمان برآورده شوند مگر در موارد خاص، که منجر به انتخابهای ارزشی میشود.
History
توجه به انصاف الگوریتمی در اواسط دهه ۲۰۱۰ با استقرار سیستمهای یادگیری ماشین در محیطهای با پیامدهای مهم افزایش یافت. تحلیل باروکاس و سلبست در سال ۲۰۱۶ در مورد تأثیر نامتناسب، تعاریف رسمی انصاف از جامعه علوم کامپیوتر، و انتقادات رایج مانند اونیل، سؤالات اصلی این حوزه را تثبیت کرد.
Debates
- کدام تعریف انصاف باید استفاده شود
- از آنجایی که معیارهای رسمی انصاف میتوانند با هم در تضاد باشند، بحث بر این متمرکز است که آیا یک تعریف واحد مناسب است، چگونه در یک زمینه خاص بین آنها انتخاب کنیم، و آیا معیارهای رسمی میتوانند عدالت اساسی را به طور کامل در بر گیرند.
Key figures
- Solon Barocas
- Andrew Selbst
- Cynthia Dwork
- Cathy O'Neil
Related topics
Seminal works
- barocas2016
- oneil2016
Frequently asked questions
- آیا یک الگوریتم میتواند سوگیرانه باشد حتی اگر ویژگیهای محافظتشده را نادیده بگیرد؟
- بله. حذف ویژگیهایی مانند نژاد یا جنسیت، انصاف را تضمین نمیکند، زیرا ویژگیهای دیگر میتوانند به عنوان واسطه برای آنها عمل کنند، پدیدهای که در بحثهای مربوط به تأثیر نامتناسب محوری است.
- آیا یک تعریف واحد و صحیح از انصاف الگوریتمی وجود دارد؟
- هیچ اجماعی وجود ندارد. چندین تعریف رسمی پیشنهاد شده است، و نتایج نشان میدهد که آنها میتوانند متقابلاً ناسازگار باشند، بنابراین انتخاب یکی از آنها شامل قضاوتهای اخلاقی و سیاسی مورد مناقشه است.