Équité algorithmique et biais

L'équité algorithmique s'intéresse à la manière dont les systèmes de décision automatisés traitent les individus et les groupes de manière équitable, ainsi qu'aux façons dont les données et les modèles peuvent encoder ou amplifier les biais.

Definition

L'étude de l'équité et de la discrimination dans les systèmes de décision automatisés, incluant la mesure des biais et les conceptions formelles et éthiques du traitement équitable.

Scope

Ce sujet aborde les sources de biais dans les données et les systèmes d'apprentissage automatique, les définitions formelles concurrentes de l'équité (telles que la parité démographique, l'égalité des chances et la calibration), les résultats d'impossibilité montrant que celles-ci peuvent entrer en conflit, la relation entre l'équité statistique et la justice substantielle, et les conséquences sociales de la prise de décision automatisée dans des domaines comme le recrutement, l'octroi de prêts et la justice pénale. Il décrit les débats techniques et éthiques sans prescrire quel critère d'équité un système devrait adopter.

Core questions

• Comment les biais et la discrimination s'introduisent-ils dans les systèmes de décision basés sur les données ?
• Que signifie pour un algorithme d'être « équitable », et des définitions concurrentes peuvent-elles être satisfaites simultanément ?
• Comment les notions statistiques d'équité se rapportent-elles aux conceptions légales et morales de la justice ?
• Qui est responsable des résultats discriminatoires produits par les systèmes automatisés ?

Key theories

Impact disparate dans les systèmes basés sur les données

Barocas et Selbst analysent comment l'exploration de données peut produire des résultats discriminatoires même sans intention discriminatoire, par le biais de données d'entraînement biaisées, de proxys et de la sélection de caractéristiques.

Incompatibilité des critères d'équité

Des travaux formels montrent que des définitions statistiques distinctes de l'équité — telles que la calibration et les taux d'erreur équilibrés entre les groupes — ne peuvent généralement pas toutes être satisfaites simultanément, sauf dans des cas particuliers, ce qui impose des choix chargés de valeurs.

History

L'attention portée à l'équité algorithmique s'est accrue au milieu des années 2010 à mesure que les systèmes d'apprentissage automatique étaient déployés dans des contextes à fort impact. L'analyse de l'impact disparate par Barocas et Selbst en 2016, les définitions formelles de l'équité issues de la communauté informatique, et les critiques populaires telles que celles d'O'Neil ont établi les questions fondamentales du domaine.

Debates

Quelle définition de l'équité utiliser

Étant donné que les critères formels d'équité peuvent entrer en conflit, le débat se concentre sur la question de savoir si une définition unique est appropriée, comment choisir parmi elles dans un contexte donné, et si les métriques formelles peuvent réellement saisir la justice substantielle.

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

Un algorithme peut-il être biaisé même s'il ignore les attributs protégés ?

Oui. La suppression d'attributs tels que la race ou le genre ne garantit pas l'équité, car d'autres caractéristiques peuvent servir de proxys pour ceux-ci, un phénomène central dans les discussions sur l'impact disparate.

Existe-t-il une seule définition correcte de l'équité algorithmique ?

Il n'existe pas de consensus. Plusieurs définitions formelles ont été proposées, et les résultats montrent qu'elles peuvent être mutuellement incompatibles, de sorte que le choix de l'une d'entre elles implique des jugements éthiques et politiques contestés.