Modèles génératifs profonds

Les modèles génératifs profonds apprennent à produire de nouvelles données ressemblant à un ensemble d'entraînement, capturant la distribution de données complexes telles que des images, de l'audio et du texte.

Definition

Un modèle génératif profond est un réseau neuronal qui représente une distribution de probabilité sur des données et peut en générer de nouveaux échantillons, appris soit par maximisation de la vraisemblance, soit par entraînement adversarial, soit en apprenant à inverser un processus de corruption, selon la famille de modèles.

Scope

Ce sujet couvre les modèles neuronaux qui modélisent ou échantillonnent des distributions de données : les auto-encodeurs variationnels qui associent un encodeur et un décodeur à une distribution a priori latente, les réseaux génératifs adversariaux qui opposent un générateur à un discriminateur, les modèles autorégressifs qui prédisent les données élément par élément, et les modèles de diffusion qui apprennent à inverser un processus de bruitage. Il aborde la manière dont ces modèles sont entraînés et évalués.

Core questions

• Comment un réseau neuronal peut-il apprendre à générer de nouvelles données réalistes ?
• Qu'est-ce qui distingue les approches basées sur la vraisemblance, adversariales et de diffusion ?
• Comment les variables latentes sont-elles utilisées pour contrôler et structurer la génération ?
• Comment la qualité des échantillons générés est-elle évaluée ?

Key theories

Génération par variables latentes

Les auto-encodeurs variationnels apprennent un encodeur qui mappe les données à une distribution latente et un décodeur qui reconstruit les données, permettant l'échantillonnage de nouvelles données en tirant des codes latents d'une distribution a priori.

Entraînement adversarial

Les réseaux génératifs adversariaux entraînent un générateur à tromper un discriminateur qui tente de distinguer les données réelles des données générées, un jeu dont l'équilibre produit des échantillons réalistes.

Modélisation autorégressive et par diffusion

Les modèles autorégressifs factorisent une distribution en un produit de conditionnelles prédites en séquence, tandis que les modèles de diffusion apprennent à inverser un processus de bruitage graduel, les deux permettant une génération de haute qualité.

Clinical relevance

Les modèles génératifs profonds alimentent la synthèse d'images et d'audio, l'augmentation de données, la conception de médicaments et de matériaux, ainsi que les systèmes d'intelligence artificielle générative qui produisent du texte et des images ; leur capacité à créer un contenu synthétique convaincant soulève également des préoccupations importantes concernant leur mauvaise utilisation, leur authenticité et leur évaluation.

History

La modélisation générative avec les réseaux neuronaux a progressé des machines de Boltzmann restreintes et des réseaux de croyances profonds aux auto-encodeurs variationnels et, en 2014, aux réseaux génératifs adversariaux. Les modèles autorégressifs ont fait progresser la génération de texte et d'audio, et les modèles de diffusion ont ensuite atteint une qualité de synthèse d'images de premier plan, faisant de la modélisation générative un thème central de l'intelligence artificielle moderne.

Key figures

• Ian Goodfellow
• Diederik Kingma
• Yoshua Bengio

Seminal works

• goodfellow2016
• lecun2015
• murphy2012

Frequently asked questions

Qu'est-ce qu'un réseau génératif adversarial ?

C'est une paire de réseaux entraînés ensemble : un générateur qui crée des échantillons et un discriminateur qui essaie de distinguer les données réelles des données générées. Le générateur s'améliore en apprenant à tromper le discriminateur, et à l'équilibre idéal, il produit des échantillons réalistes.

Comment les modèles de diffusion génèrent-ils des données ?

Les modèles de diffusion apprennent à inverser un processus qui ajoute progressivement du bruit aux données. Partant d'un bruit pur, le modèle supprime à plusieurs reprises un peu de bruit, étape par étape, jusqu'à ce qu'un échantillon propre émerge, ce qui s'est avéré très efficace pour la génération d'images de haute qualité.