Công bằng và Thiên vị trong Thuật toán

Công bằng thuật toán liên quan đến việc liệu và bằng cách nào các hệ thống ra quyết định tự động đối xử công bằng với các cá nhân và nhóm, cũng như cách thức dữ liệu và mô hình có thể mã hóa hoặc khuếch đại sự thiên vị.

Definition

Nghiên cứu về sự công bằng và phân biệt đối xử trong các hệ thống ra quyết định tự động, bao gồm việc đo lường sự thiên vị và các quan niệm chính thức và đạo đức về đối xử công bằng.

Scope

Chủ đề này bao gồm các nguồn gốc của sự thiên vị trong dữ liệu và hệ thống học máy, các định nghĩa chính thức cạnh tranh về sự công bằng (như bình đẳng nhân khẩu học, tỷ lệ sai sót cân bằng, và hiệu chuẩn), các kết quả bất khả thi cho thấy chúng có thể xung đột, mối quan hệ giữa công bằng thống kê và công lý thực chất, và các hậu quả xã hội của việc ra quyết định tự động trong các lĩnh vực như tuyển dụng, cho vay và tư pháp hình sự. Nó mô tả các cuộc tranh luận kỹ thuật và đạo đức mà không quy định tiêu chí công bằng nào mà bất kỳ hệ thống nào nên áp dụng.

Core questions

• Thiên vị và phân biệt đối xử xâm nhập vào các hệ thống ra quyết định dựa trên dữ liệu như thế nào?
• Một thuật toán được coi là 'công bằng' có nghĩa là gì, và liệu các định nghĩa đối lập có thể được thỏa mãn cùng một lúc không?
• Các khái niệm thống kê về sự công bằng liên quan đến các quan niệm pháp lý và đạo đức về công lý như thế nào?
• Ai chịu trách nhiệm về các kết quả phân biệt đối xử do các hệ thống tự động tạo ra?

Key theories

Tác động khác biệt trong các hệ thống dựa trên dữ liệu

Barocas và Selbst phân tích cách khai thác dữ liệu có thể tạo ra kết quả phân biệt đối xử ngay cả khi không có ý định phân biệt đối xử, thông qua dữ liệu huấn luyện thiên vị, các biến đại diện và lựa chọn đặc trưng.

Tính không tương thích của các tiêu chí công bằng

Các nghiên cứu chính thức cho thấy rằng các định nghĩa thống kê riêng biệt về sự công bằng—như hiệu chuẩn và tỷ lệ lỗi cân bằng giữa các nhóm—thường không thể được thỏa mãn đồng thời trừ những trường hợp đặc biệt, buộc phải đưa ra các lựa chọn mang tính giá trị.

History

Sự chú ý đến công bằng thuật toán gia tăng vào giữa những năm 2010 khi các hệ thống học máy được triển khai trong các môi trường có hậu quả quan trọng. Phân tích của Barocas và Selbst năm 2016 về tác động khác biệt, các định nghĩa công bằng chính thức từ cộng đồng khoa học máy tính, và các phê bình phổ biến như của O'Neil đã thiết lập các câu hỏi cốt lõi của lĩnh vực này.

Debates

Nên sử dụng định nghĩa công bằng nào

Vì các tiêu chí công bằng chính thức có thể xung đột, cuộc tranh luận tập trung vào việc liệu có bất kỳ định nghĩa đơn lẻ nào là phù hợp, cách lựa chọn giữa chúng trong ngữ cảnh, và liệu các số liệu chính thức có thể nắm bắt được công lý thực chất hay không.

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

Một thuật toán có thể bị thiên vị ngay cả khi nó bỏ qua các thuộc tính được bảo vệ không?

Có. Việc loại bỏ các thuộc tính như chủng tộc hoặc giới tính không đảm bảo sự công bằng, bởi vì các đặc điểm khác có thể đóng vai trò là biến đại diện cho chúng, một hiện tượng trung tâm trong các cuộc thảo luận về tác động khác biệt.

Có một định nghĩa duy nhất đúng về công bằng thuật toán không?

Không có sự đồng thuận. Một số định nghĩa chính thức đã được đề xuất, và các kết quả cho thấy chúng có thể không tương thích lẫn nhau, vì vậy việc lựa chọn một định nghĩa liên quan đến các phán đoán đạo đức và chính trị gây tranh cãi.