Keadilan dan Bias Algoritmik

Keadilan algoritmik menyangkut apakah dan bagaimana sistem pengambilan keputusan otomatis memperlakukan individu dan kelompok secara adil, serta cara data dan model dapat mengkodekan atau memperkuat bias.

Definition

Studi tentang kesetaraan dan diskriminasi dalam sistem pengambilan keputusan otomatis, termasuk pengukuran bias dan konsepsi formal serta etis tentang perlakuan yang adil.

Scope

Topik ini mencakup sumber-sumber bias dalam data dan sistem pembelajaran mesin, definisi formal keadilan yang bersaing (seperti paritas demografi, peluang yang setara, dan kalibrasi), hasil ketidakmungkinan yang menunjukkan bahwa ini dapat bertentangan, hubungan antara keadilan statistik dan keadilan substantif, serta konsekuensi sosial dari pengambilan keputusan otomatis di bidang-bidang seperti perekrutan, pemberian pinjaman, dan peradilan pidana. Ini menjelaskan perdebatan teknis dan etis tanpa menentukan kriteria keadilan mana yang harus diadopsi oleh sistem apa pun.

Core questions

• Bagaimana bias dan diskriminasi masuk ke dalam sistem pengambilan keputusan berbasis data?
• Apa artinya bagi suatu algoritma untuk menjadi 'adil', dan bisakah definisi yang bersaing dipenuhi sekaligus?
• Bagaimana gagasan statistik tentang keadilan berhubungan dengan konsepsi hukum dan moral tentang keadilan?
• Siapa yang bertanggung jawab atas hasil diskriminatif yang dihasilkan oleh sistem otomatis?

Key theories

Dampak yang berbeda dalam sistem berbasis data

Barocas dan Selbst menganalisis bagaimana penambangan data dapat menghasilkan hasil diskriminatif bahkan tanpa niat diskriminatif, melalui data pelatihan yang bias, proksi, dan pemilihan fitur.

Ketidaksesuaian kriteria keadilan

Karya formal menunjukkan bahwa definisi statistik keadilan yang berbeda—seperti kalibrasi dan tingkat kesalahan yang seimbang di seluruh kelompok—umumnya tidak dapat semuanya dipenuhi secara bersamaan kecuali dalam kasus-kasus khusus, yang memaksa pilihan yang sarat nilai.

History

Perhatian terhadap keadilan algoritmik tumbuh pada pertengahan 2010-an ketika sistem pembelajaran mesin diterapkan dalam pengaturan yang konsekuensial. Analisis Barocas dan Selbst tahun 2016 tentang dampak yang berbeda, definisi keadilan formal dari komunitas ilmu komputer, dan kritik populer seperti O'Neil menetapkan pertanyaan-pertanyaan inti bidang ini.

Debates

Definisi keadilan mana yang akan digunakan

Karena kriteria keadilan formal dapat bertentangan, perdebatan berfokus pada apakah ada definisi tunggal yang sesuai, bagaimana memilih di antara mereka dalam konteks, dan apakah metrik formal dapat menangkap keadilan substantif sama sekali.

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

Bisakah algoritma menjadi bias meskipun mengabaikan atribut yang dilindungi?

Ya. Menghapus atribut seperti ras atau gender tidak menjamin keadilan, karena fitur lain dapat berfungsi sebagai proksi untuk mereka, sebuah fenomena yang menjadi inti diskusi tentang dampak yang berbeda.

Apakah ada satu definisi yang benar tentang keadilan algoritmik?

Tidak ada konsensus yang ada. Beberapa definisi formal telah diajukan, dan hasilnya menunjukkan bahwa mereka dapat saling tidak kompatibel, sehingga memilih salah satu melibatkan penilaian etis dan politik yang diperdebatkan.