Алгоритмическая справедливость и предвзятость

Алгоритмическая справедливость касается того, как и в какой степени автоматизированные системы принятия решений относятся к отдельным лицам и группам справедливо, а также того, каким образом данные и модели могут кодировать или усиливать предвзятость.

Definition

Изучение равенства и дискриминации в автоматизированных системах принятия решений, включая измерение предвзятости и формальные и этические концепции справедливого обращения.

Scope

Эта тема охватывает источники предвзятости в данных и системах машинного обучения, конкурирующие формальные определения справедливости (такие как демографическое равенство, выровненные шансы и калибровка), результаты невозможности, показывающие их конфликтность, связь между статистической справедливостью и содержательной справедливостью, а также социальные последствия автоматизированного принятия решений в таких областях, как найм, кредитование и уголовное правосудие. В ней описываются технические и этические дебаты без предписания того, какой критерий справедливости должна применять любая система.

Core questions

• Как предвзятость и дискриминация проникают в системы принятия решений, основанные на данных?
• Что значит для алгоритма быть «справедливым», и могут ли конкурирующие определения быть удовлетворены одновременно?
• Как статистические понятия справедливости соотносятся с правовыми и моральными концепциями правосудия?
• Кто несет ответственность за дискриминационные результаты, производимые автоматизированными системами?

Key theories

Несоразмерное воздействие в системах, основанных на данных

Барочас и Зельбст анализируют, как интеллектуальный анализ данных может приводить к дискриминационным результатам даже без дискриминационного намерения, через предвзятые обучающие данные, прокси-переменные и выбор признаков.

Несовместимость критериев справедливости

Формальные работы показывают, что различные статистические определения справедливости — такие как калибровка и сбалансированные показатели ошибок между группами — как правило, не могут быть удовлетворены одновременно, за исключением особых случаев, что требует ценностно-ориентированного выбора.

History

Внимание к алгоритмической справедливости возросло в середине 2010-х годов, когда системы машинного обучения стали применяться в важных областях. Анализ Барокаса и Зельбст 2016 года о несоразмерном воздействии, формальные определения справедливости от сообщества компьютерных наук и популярные критические работы, такие как работа О'Нил, заложили основные вопросы этой области.

Debates

Какой критерий справедливости использовать

Поскольку формальные критерии справедливости могут конфликтовать, дебаты сосредоточены на том, является ли какое-либо одно определение подходящим, как выбирать между ними в контексте и могут ли формальные метрики вообще охватить содержательную справедливость.

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

Может ли алгоритм быть предвзятым, даже если он игнорирует защищенные атрибуты?

Да. Удаление таких атрибутов, как раса или пол, не гарантирует справедливости, поскольку другие признаки могут служить их прокси-переменными, что является центральным явлением в обсуждениях несоразмерного воздействия.

Существует ли единственное правильное определение алгоритмической справедливости?

Единого мнения не существует. Было предложено несколько формальных определений, и результаты показывают, что они могут быть взаимно несовместимыми, поэтому выбор одного из них включает спорные этические и политические суждения.