Algoritmik Adillik ve Yanlılık
Algoritmik adillik, otomatik karar sistemlerinin bireylere ve gruplara ne ölçüde ve nasıl eşit davrandığı ile veri ve modellerin yanlılığı nasıl kodlayabileceği veya güçlendirebileceği konularını ele almaktadır.
Tanım
Otomatik karar sistemlerinde eşitlik ve ayrımcılığın incelenmesi; yanlılığın ölçülmesi ile adil muamelenin resmi ve etik anlayışlarını içermektedir.
Kapsam
Bu konu, veri ve makine öğrenimi sistemlerindeki yanlılık kaynaklarını, adilliğin rekabet eden resmi tanımlarını (demografik eşitlik, eşitlenmiş oranlar ve kalibrasyon gibi), bunların çelişebileceğini gösteren imkansızlık sonuçlarını, istatistiksel adillik ile esaslı adalet arasındaki ilişkiyi ve işe alım, borç verme ve ceza adaleti gibi alanlarda otomatik karar verme süreçlerinin sosyal sonuçlarını kapsamaktadır. Herhangi bir sistemin hangi adillik kriterini benimsemesi gerektiğini belirtmeksizin teknik ve etik tartışmaları açıklamaktadır.
Temel sorular
- Yanlılık ve ayrımcılık, veri odaklı karar sistemlerine nasıl dahil olmaktadır?
- Bir algoritmanın 'adil' olması ne anlama gelmektedir ve rakip tanımlar aynı anda karşılanabilir mi?
- Adilliğin istatistiksel kavramları, adaletin hukuki ve ahlaki anlayışlarıyla nasıl ilişkilidir?
- Otomatik sistemler tarafından üretilen ayrımcı sonuçlardan kim sorumludur?
Temel kuramlar
- Veri odaklı sistemlerde farklı etki (disparate impact)
- Barocas ve Selbst, veri madenciliğinin, yanlı eğitim verileri, vekiller (proxies) ve özellik seçimi aracılığıyla ayrımcı niyet olmaksızın bile ayrımcı sonuçlar üretebileceğini analiz etmektedir.
- Adillik kriterlerinin uyumsuzluğu
- Resmi çalışmalar, kalibrasyon ve gruplar arası dengeli hata oranları gibi adilliğin farklı istatistiksel tanımlarının, özel durumlar dışında genellikle aynı anda karşılanamayacağını ve değer yüklü seçimleri zorunlu kıldığını göstermektedir.
Tarihçe
Algoritmik adilliğe yönelik ilgi, makine öğrenimi sistemlerinin önemli bağlamlarda kullanılmaya başlandığı 2010'ların ortalarında artmıştır. Barocas ve Selbst'in 2016 tarihli farklı etki (disparate impact) analizi, bilgisayar bilimi camiasından gelen resmi adillik tanımları ve O'Neil gibi popüler eleştiriler, bu alanın temel sorularını belirlemiştir.
Tartışmalar
- Hangi adillik tanımının kullanılacağı
- Resmi adillik kriterleri çelişebileceğinden, tartışma herhangi bir tek tanımın uygun olup olmadığına, bağlam içinde aralarından nasıl seçim yapılacağına ve resmi metriklerin esaslı adaleti hiç yakalayıp yakalayamayacağına odaklanmaktadır.
Öne çıkan isimler
- Solon Barocas
- Andrew Selbst
- Cynthia Dwork
- Cathy O'Neil
İlgili konular
Temel eserler
- barocas2016
- oneil2016
Sıkça sorulan sorular
- Bir algoritma, korunan nitelikleri göz ardı etse bile yanlı olabilir mi?
- Evet. Irk veya cinsiyet gibi niteliklerin kaldırılması adilliği garanti etmez, çünkü diğer özellikler bunlar için vekil (proxy) görevi görebilir; bu durum farklı etki (disparate impact) tartışmalarının merkezinde yer alan bir olgudur.
- Algoritmik adilliğin tek bir doğru tanımı var mıdır?
- Bir uzlaşma bulunmamaktadır. Birkaç resmi tanım önerilmiştir ve sonuçlar bunların karşılıklı olarak uyumsuz olabileceğini göstermektedir, bu nedenle birini seçmek tartışmalı etik ve politik yargıları içermektedir.