Modelos generativos profundos

Los modelos generativos profundos aprenden a producir nuevos datos que se asemejan a un conjunto de entrenamiento, capturando la distribución de datos complejos como imágenes, audio y texto.

Definition

Un modelo generativo profundo es una red neuronal que representa una distribución de probabilidad sobre los datos y puede generar nuevas muestras a partir de ella, aprendida ya sea maximizando la verosimilitud, mediante entrenamiento antagónico o aprendiendo a invertir un proceso de corrupción, dependiendo de la familia del modelo.

Scope

Este tema abarca modelos neuronales que modelan o muestrean a partir de distribuciones de datos: autoencoders variacionales que emparejan un codificador y un decodificador con una prioridad latente, redes generativas antagónicas que enfrentan un generador contra un discriminador, modelos autorregresivos que predicen datos un elemento a la vez, y modelos de difusión que aprenden a revertir un proceso de ruido. Aborda cómo se entrenan y evalúan estos modelos.

Core questions

• ¿Cómo puede una red neuronal aprender a generar nuevos datos realistas?
• ¿Qué distingue los enfoques basados en la verosimilitud, los antagónicos y los de difusión?
• ¿Cómo se utilizan las variables latentes para controlar y estructurar la generación?
• ¿Cómo se evalúa la calidad de las muestras generadas?

Key theories

Generación de variables latentes

Los autoencoders variacionales aprenden un codificador que mapea los datos a una distribución latente y un decodificador que reconstruye los datos, lo que permite el muestreo de nuevos datos extrayendo códigos latentes de una prioridad.

Entrenamiento antagónico

Las redes generativas antagónicas entrenan un generador para engañar a un discriminador que intenta distinguir los datos reales de los generados, un juego cuyo equilibrio produce muestras realistas.

Modelado autorregresivo y de difusión

Los modelos autorregresivos factorizan una distribución en un producto de condicionales predichos en secuencia, mientras que los modelos de difusión aprenden a revertir un proceso gradual de ruido, ambos proporcionando una generación de alta calidad.

Clinical relevance

Los modelos generativos profundos impulsan la síntesis de imágenes y audio, el aumento de datos, el diseño de fármacos y materiales, y los sistemas de inteligencia artificial generativa que producen texto e imágenes; su capacidad para crear contenido sintético convincente también plantea importantes preocupaciones sobre el uso indebido, la autenticidad y la evaluación.

History

El modelado generativo con redes neuronales progresó desde las máquinas de Boltzmann restringidas y las redes de creencias profundas hasta los autoencoders variacionales y, en 2014, las redes generativas antagónicas. Los modelos autorregresivos avanzaron en la generación de texto y audio, y los modelos de difusión lograron posteriormente una calidad líder en la síntesis de imágenes, lo que convirtió al modelado generativo en un tema central de la inteligencia artificial moderna.

Key figures

• Ian Goodfellow
• Diederik Kingma
• Yoshua Bengio

Seminal works

• goodfellow2016
• lecun2015
• murphy2012

Frequently asked questions

¿Qué es una red generativa antagónica?

Es un par de redes entrenadas conjuntamente: un generador que crea muestras y un discriminador que intenta distinguir los datos reales de los generados. El generador mejora aprendiendo a engañar al discriminador, y en el equilibrio ideal produce muestras realistas.

¿Cómo generan datos los modelos de difusión?

Los modelos de difusión aprenden a revertir un proceso que añade ruido gradualmente a los datos. Partiendo de ruido puro, el modelo elimina repetidamente un poco de ruido, paso a paso, hasta que emerge una muestra limpia, lo que ha demostrado ser muy eficaz para la generación de imágenes de alta calidad.