算法公平性与偏见

算法公平性关注自动化决策系统如何以及是否公平对待个体和群体，以及数据和模型如何编码或放大偏见。

Definition

对自动化决策系统中公平和歧视的研究，包括偏见的衡量以及公平待遇的形式和伦理概念。

Scope

本主题涵盖数据和机器学习系统中偏见的来源、相互竞争的公平性形式定义（例如人口统计学均等、均等化赔率和校准）、表明这些定义可能冲突的不可能性结果、统计公平性与实质正义之间的关系，以及自动化决策在招聘、贷款和刑事司法等领域造成的社会后果。它描述了技术和伦理辩论，但并未规定任何系统应采用何种公平性标准。

Core questions

• 偏见和歧视如何进入数据驱动的决策系统？
• 算法“公平”意味着什么？相互竞争的定义能否同时满足？
• 统计学上的公平性概念与法律和道德上的正义概念有何关联？
• 自动化系统产生的歧视性结果由谁负责？

Key theories

数据驱动系统中的不同影响

Barocas和Selbst分析了数据挖掘如何在没有歧视意图的情况下，通过有偏见的训练数据、代理变量和特征选择产生歧视性结果。

公平性标准的不兼容性

形式化研究表明，不同的统计学公平性定义——例如校准和跨群体的平衡错误率——通常不能同时满足，除非在特殊情况下，这迫使人们做出带有价值判断的选择。

History

随着机器学习系统被部署到具有重要影响的场景中，对算法公平性的关注在2010年代中期逐渐增加。Barocas和Selbst在2016年对不同影响的分析、计算机科学界提出的形式化公平性定义以及O'Neil等人的流行批判确立了该领域的核心问题。

Debates

应采用哪种公平性定义

由于形式化的公平性标准可能相互冲突，争论的焦点在于是否存在单一的合适定义，如何在特定情境中进行选择，以及形式化指标是否能完全捕捉实质正义。

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

即使算法忽略受保护属性，它也可能存在偏见吗？

是的。移除种族或性别等属性并不能保证公平性，因为其他特征可以作为它们的代理，这是关于不同影响讨论的核心现象。

算法公平性是否存在一个单一的正确定义？

目前没有共识。已经提出了几种形式化的定义，结果表明它们可能相互不兼容，因此选择其中一个涉及有争议的伦理和政治判断。