Tiefe generative Modelle

Tiefe generative Modelle lernen, neue Daten zu erzeugen, die einem Trainingsdatensatz ähneln, und erfassen dabei die Verteilung komplexer Daten wie Bilder, Audio und Text.

Definition

Ein tiefes generatives Modell ist ein neuronales Netzwerk, das eine Wahrscheinlichkeitsverteilung über Daten darstellt und neue Stichproben daraus generieren kann, gelernt entweder durch Maximierung der Likelihood, durch adversarielles Training oder durch das Lernen, einen Korruptionsprozess umzukehren, abhängig von der Modellfamilie.

Scope

Dieses Thema behandelt neuronale Modelle, die Datenverteilungen modellieren oder daraus Stichproben ziehen: variationelle Autoencoder, die einen Encoder und Decoder mit einem latenten Prior koppeln, generative adversarielle Netzwerke, die einen Generator gegen einen Diskriminator antreten lassen, autoregressive Modelle, die Daten Element für Element vorhersagen, und Diffusionsmodelle, die lernen, einen Rauschprozess umzukehren. Es wird auch die Art und Weise behandelt, wie diese Modelle trainiert und evaluiert werden.

Core questions

• Wie kann ein neuronales Netzwerk lernen, realistische neue Daten zu generieren?
• Was unterscheidet Likelihood-basierte, adversarielle und Diffusionsansätze?
• Wie werden latente Variablen zur Steuerung und Strukturierung der Generierung eingesetzt?
• Wie wird die Qualität generierter Stichproben beurteilt?

Key theories

Latent-variable-Generierung

Variationelle Autoencoder lernen einen Encoder, der Daten auf eine latente Verteilung abbildet, und einen Decoder, der Daten rekonstruiert, was die Stichprobenziehung neuer Daten durch Ziehen latenter Codes aus einem Prior ermöglicht.

Adversarielles Training

Generative adversarielle Netzwerke trainieren einen Generator, um einen Diskriminator zu täuschen, der versucht, reale von generierten Daten zu unterscheiden, ein Spiel, dessen Gleichgewicht realistische Stichproben liefert.

Autoregressive und Diffusionsmodellierung

Autoregressive Modelle faktorisieren eine Verteilung in ein Produkt von sequenziell vorhergesagten Konditionalen, während Diffusionsmodelle lernen, einen schrittweisen Rauschprozess umzukehren, beides führt zu hochwertiger Generierung.

Clinical relevance

Tiefe generative Modelle treiben die Bild- und Audiosynthese, Datenaugmentation, das Design von Medikamenten und Materialien sowie generative künstliche Intelligenzsysteme an, die Text und Bilder produzieren; ihre Fähigkeit, überzeugende synthetische Inhalte zu erstellen, wirft auch erhebliche Bedenken hinsichtlich Missbrauch, Authentizität und Bewertung auf.

History

Die generative Modellierung mit neuronalen Netzwerken entwickelte sich von Restricted Boltzmann Machines und Deep Belief Nets zu variationellen Autoencodern und, im Jahr 2014, zu generativen adversariellen Netzwerken. Autoregressive Modelle trieben die Text- und Audiogenerierung voran, und Diffusionsmodelle erreichten später eine führende Qualität bei der Bildsynthese, wodurch die generative Modellierung zu einem zentralen Thema der modernen künstlichen Intelligenz wurde.

Key figures

• Ian Goodfellow
• Diederik Kingma
• Yoshua Bengio

Seminal works

• goodfellow2016
• lecun2015
• murphy2012

Frequently asked questions

Was ist ein generatives adversarielles Netzwerk?

Es ist ein Paar von Netzwerken, die zusammen trainiert werden: ein Generator, der Stichproben erstellt, und ein Diskriminator, der versucht, reale Daten von generierten Daten zu unterscheiden. Der Generator verbessert sich, indem er lernt, den Diskriminator zu täuschen, und im idealen Gleichgewicht erzeugt er realistische Stichproben.

Wie generieren Diffusionsmodelle Daten?

Diffusionsmodelle lernen, einen Prozess umzukehren, der Daten schrittweise verrauscht. Ausgehend von reinem Rauschen entfernt das Modell wiederholt ein wenig Rauschen, Schritt für Schritt, bis eine saubere Stichprobe entsteht, was sich als sehr effektiv für die hochwertige Bildgenerierung erwiesen hat.