Equidad y sesgo algorítmico

La equidad algorítmica se refiere a si los sistemas de decisión automatizados tratan a los individuos y grupos de manera equitativa y cómo lo hacen, así como a las formas en que los datos y los modelos pueden codificar o amplificar el sesgo.

Definition

El estudio de la equidad y la discriminación en los sistemas de decisión automatizados, incluyendo la medición del sesgo y las concepciones formales y éticas del trato justo.

Scope

Este tema abarca las fuentes de sesgo en los datos y los sistemas de aprendizaje automático, las definiciones formales contrapuestas de equidad (como la paridad demográfica, las probabilidades igualadas y la calibración), los resultados de imposibilidad que demuestran que estas pueden entrar en conflicto, la relación entre la equidad estadística y la justicia sustantiva, y las consecuencias sociales de la toma de decisiones automatizada en áreas como la contratación, los préstamos y la justicia penal. Describe los debates técnicos y éticos sin prescribir qué criterio de equidad debe adoptar un sistema.

Core questions

• ¿Cómo entran el sesgo y la discriminación en los sistemas de decisión basados en datos?
• ¿Qué significa que un algoritmo sea 'justo' y pueden satisfacerse definiciones rivales a la vez?
• ¿Cómo se relacionan las nociones estadísticas de equidad con las concepciones legales y morales de la justicia?
• ¿Quién es responsable de los resultados discriminatorios producidos por los sistemas automatizados?

Key theories

Impacto dispar en sistemas basados en datos

Barocas y Selbst analizan cómo la minería de datos puede producir resultados discriminatorios incluso sin intención discriminatoria, a través de datos de entrenamiento sesgados, proxies y selección de características.

Incompatibilidad de los criterios de equidad

Trabajos formales demuestran que las distintas definiciones estadísticas de equidad —como la calibración y las tasas de error equilibradas entre grupos— generalmente no pueden satisfacerse todas simultáneamente, excepto en casos especiales, lo que obliga a tomar decisiones cargadas de valores.

History

La atención a la equidad algorítmica creció a mediados de la década de 2010 a medida que los sistemas de aprendizaje automático se implementaban en entornos de gran impacto. El análisis de Barocas y Selbst de 2016 sobre el impacto dispar, las definiciones formales de equidad de la comunidad de la informática y las críticas populares como las de O'Neil establecieron las preguntas centrales del campo.

Debates

Qué definición de equidad utilizar

Dado que los criterios formales de equidad pueden entrar en conflicto, el debate se centra en si una única definición es apropiada, cómo elegir entre ellas en contexto y si las métricas formales pueden capturar la justicia sustantiva en absoluto.

Key figures

• Solon Barocas
• Andrew Selbst
• Cynthia Dwork
• Cathy O'Neil

Seminal works

• barocas2016
• oneil2016

Frequently asked questions

¿Puede un algoritmo estar sesgado incluso si ignora atributos protegidos?

Sí. Eliminar atributos como la raza o el género no garantiza la equidad, porque otras características pueden servir como proxies para ellos, un fenómeno central en las discusiones sobre el impacto dispar.

¿Existe una única definición correcta de equidad algorítmica?

No existe consenso. Se han propuesto varias definiciones formales, y los resultados muestran que pueden ser mutuamente incompatibles, por lo que seleccionar una implica juicios éticos y políticos controvertidos.