ความเป็นธรรมของอัลกอริทึมและอคติ

ความเป็นธรรมของอัลกอริทึมเกี่ยวข้องกับว่าระบบการตัดสินใจอัตโนมัติปฏิบัติต่อบุคคลและกลุ่มอย่างเท่าเทียมกันหรือไม่และอย่างไร รวมถึงวิธีที่ข้อมูลและแบบจำลองสามารถเข้ารหัสหรือขยายอคติได้

Definition

การศึกษาความเท่าเทียมและการเลือกปฏิบัติในระบบการตัดสินใจอัตโนมัติ รวมถึงการวัดอคติและแนวคิดที่เป็นทางการและจริยธรรมของการปฏิบัติต่อกันอย่างเป็นธรรม

Scope

หัวข้อนี้ครอบคลุมแหล่งที่มาของอคติในข้อมูลและระบบการเรียนรู้ของเครื่องจักร, คำจำกัดความที่เป็นทางการของการเป็นธรรมที่แข่งขันกัน (เช่น ความเท่าเทียมกันทางประชากร, อัตราต่อรองที่เท่าเทียมกัน, และการสอบเทียบ), ผลลัพธ์ที่เป็นไปไม่ได้ที่แสดงให้เห็นว่าสิ่งเหล่านี้อาจขัดแย้งกัน, ความสัมพันธ์ระหว่างความเป็นธรรมทางสถิติและความยุติธรรมที่เป็นสาระสำคัญ, และผลกระทบทางสังคมของการตัดสินใจอัตโนมัติในด้านต่างๆ เช่น การจ้างงาน, การให้สินเชื่อ, และกระบวนการยุติธรรมทางอาญา โดยจะอธิบายการถกเถียงทางเทคนิคและจริยธรรมโดยไม่กำหนดว่าระบบใดควรใช้เกณฑ์ความเป็นธรรมใด

Core questions

• อคติและการเลือกปฏิบัติเข้าสู่ระบบการตัดสินใจที่ขับเคลื่อนด้วยข้อมูลได้อย่างไร?
• การที่อัลกอริทึมจะ 'เป็นธรรม' หมายความว่าอย่างไร และคำจำกัดความที่ขัดแย้งกันสามารถเป็นจริงได้พร้อมกันหรือไม่?
• แนวคิดทางสถิติของความเป็นธรรมเกี่ยวข้องกับแนวคิดทางกฎหมายและศีลธรรมของความยุติธรรมอย่างไร?
• ใครเป็นผู้รับผิดชอบต่อผลลัพธ์ที่เลือกปฏิบัติที่เกิดจากระบบอัตโนมัติ?

Key theories

ผลกระทบที่แตกต่างกันในระบบที่ขับเคลื่อนด้วยข้อมูล

Barocas และ Selbst วิเคราะห์ว่าการทำเหมืองข้อมูลสามารถสร้างผลลัพธ์ที่เลือกปฏิบัติได้อย่างไร แม้จะไม่มีเจตนาเลือกปฏิบัติ ผ่านข้อมูลการฝึกอบรมที่มีอคติ, ตัวแทน, และการเลือกคุณลักษณะ

ความเข้ากันไม่ได้ของเกณฑ์ความเป็นธรรม

งานวิจัยที่เป็นทางการแสดงให้เห็นว่าคำจำกัดความทางสถิติที่แตกต่างกันของความเป็นธรรม—เช่น การสอบเทียบและอัตราความผิดพลาดที่สมดุลในกลุ่มต่างๆ—โดยทั่วไปไม่สามารถเป็นจริงได้พร้อมกันทั้งหมด ยกเว้นในกรณีพิเศษ ซึ่งบังคับให้ต้องมีการเลือกที่ขึ้นอยู่กับค่านิยม

History

ความสนใจในความเป็นธรรมของอัลกอริทึมเพิ่มขึ้นในช่วงกลางทศวรรษ 2010 เมื่อระบบการเรียนรู้ของเครื่องจักรถูกนำไปใช้ในสถานการณ์ที่มีผลกระทบสำคัญ การวิเคราะห์ผลกระทบที่แตกต่างกันของ Barocas และ Selbst ในปี 2016, คำจำกัดความความเป็นธรรมที่เป็นทางการจากชุมชนวิทยาการคอมพิวเตอร์, และคำวิจารณ์ที่เป็นที่นิยม เช่น ของ O'Neil ได้กำหนดคำถามหลักของสาขาวิชานี้

Debates

ควรใช้คำจำกัดความความเป็นธรรมใด

เนื่องจากเกณฑ์ความเป็นธรรมที่เป็นทางการอาจขัดแย้งกัน การถกเถียงจึงมุ่งเน้นไปที่ว่าคำจำกัดความเดียวเหมาะสมหรือไม่, วิธีการเลือกในบริบท, และว่าตัวชี้วัดที่เป็นทางการสามารถจับความยุติธรรมที่เป็นสาระสำคัญได้ทั้งหมดหรือไม่

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

อัลกอริทึมอาจมีอคติได้หรือไม่ แม้ว่าจะละเว้นคุณลักษณะที่ได้รับการคุ้มครอง?

ได้ การลบคุณลักษณะต่างๆ เช่น เชื้อชาติหรือเพศ ไม่ได้รับประกันความเป็นธรรม เนื่องจากคุณลักษณะอื่นๆ สามารถทำหน้าที่เป็นตัวแทนได้ ซึ่งเป็นปรากฏการณ์สำคัญในการอภิปรายเรื่องผลกระทบที่แตกต่างกัน

มีคำจำกัดความที่ถูกต้องเพียงหนึ่งเดียวของความเป็นธรรมของอัลกอริทึมหรือไม่?

ไม่มีฉันทามติ มีการเสนอคำจำกัดความที่เป็นทางการหลายอย่าง และผลลัพธ์แสดงให้เห็นว่าสิ่งเหล่านี้อาจเข้ากันไม่ได้ ซึ่งการเลือกอย่างใดอย่างหนึ่งเกี่ยวข้องกับการตัดสินทางจริยธรรมและการเมืองที่มีการโต้แย้ง