Aprendizaje autosupervisado y de representación

El aprendizaje autosupervisado y de representación crea características útiles a partir de datos sin etiquetar, inventando tareas de predicción a partir de los propios datos, produciendo representaciones que se transfieren a muchos problemas posteriores.

Definition

El aprendizaje autosupervisado entrena un modelo en tareas cuyas etiquetas se derivan automáticamente de la entrada, como predecir una parte oculta de los datos o reconocer dos vistas aumentadas como el mismo elemento, de modo que el modelo aprende representaciones de propósito general utilizables para tareas supervisadas posteriores.

Scope

Este tema abarca el aprendizaje de representaciones sin etiquetas humanas: autoencoders que comprimen y reconstruyen entradas, métodos contrastivos que unen vistas relacionadas y separan las no relacionadas, y tareas de pretexto o de predicción enmascarada que convierten datos sin etiquetar en señales supervisadas. Aborda por qué las buenas representaciones son importantes y cómo las características preentrenadas se transfieren entre tareas.

Core questions

• ¿Cómo se pueden generar señales de entrenamiento de estilo supervisado a partir de datos sin etiquetar?
• ¿Qué hace que una representación aprendida sea útil y transferible?
• ¿En qué se diferencian los objetivos contrastivos y reconstructivos?
• ¿Por qué el preentrenamiento en grandes corpus sin etiquetar ayuda a las tareas posteriores?

Key theories

Aprendizaje de representación

La calidad de una representación aprendida, más que la elección del clasificador, a menudo determina el rendimiento, por lo que aprender características que desentrañen los factores subyacentes de variación es un objetivo central.

Autoencoding y reconstrucción

Los autoencoders aprenden códigos compactos reconstruyendo sus entradas a través de un cuello de botella, y variantes como los autoencoders de eliminación de ruido aprenden características robustas reconstruyendo entradas corruptas.

Preentrenamiento y transferencia

Los modelos preentrenados en grandes conjuntos de datos sin etiquetar con objetivos autosupervisados aprenden características ampliamente útiles que se transfieren a muchas tareas posteriores con pocos datos etiquetados, un paradigma central para los sistemas modernos.

Clinical relevance

El preentrenamiento autosupervisado es la base de los sistemas modernos de lenguaje y visión, lo que permite a los modelos absorber conocimientos de vastos corpus sin etiquetar antes de ser adaptados a tareas específicas con etiquetas limitadas; reduce drásticamente los datos etiquetados necesarios para un rendimiento sólido y es una razón importante de los avances recientes en inteligencia artificial.

History

El aprendizaje de representación surgió de los autoencoders y el preentrenamiento no supervisado de redes profundas en la década de 2000. Los objetivos autosupervisados, incluida la predicción enmascarada en el lenguaje y el aprendizaje contrastivo en la visión, demostraron posteriormente ser capaces de aprender representaciones potentes de propósito general, convirtiéndose en el enfoque dominante para el preentrenamiento de modelos grandes.

Key figures

• Yoshua Bengio
• Geoffrey Hinton
• Yann LeCun

Seminal works

• bengio2013
• goodfellow2016
• lecun2015

Frequently asked questions

¿En qué se diferencia el aprendizaje autosupervisado del aprendizaje no supervisado?

El aprendizaje autosupervisado es una forma de aprendizaje no supervisado en la que el modelo se entrena con un objetivo de estilo supervisado cuyas metas se generan automáticamente a partir de los datos, por ejemplo, ocultando parte de la entrada y prediciéndola. No utiliza etiquetas humanas, pero aun así enmarca el aprendizaje como predicción.

¿Por qué es tan valiosa una buena representación?

Una vez que los datos se codifican en una representación que captura su estructura esencial, incluso los modelos simples pueden funcionar bien, y la misma representación puede servir para muchas tareas. Aprender tales características transferibles a partir de datos sin etiquetar es lo que hace que el preentrenamiento sea tan efectivo.