Apprentissage profond

L'apprentissage profond entraîne des réseaux de neurones comportant de nombreuses couches pour apprendre des représentations hiérarchiques des données, obtenant des résultats de pointe en vision, en parole et en langage.

Definition

L'apprentissage profond est la branche de l'apprentissage automatique qui utilise des réseaux de neurones avec plusieurs couches de traitement non linéaire pour apprendre des représentations de données à des niveaux d'abstraction croissants, avec des paramètres ajustés de bout en bout par descente de gradient sur une fonction de perte.

Scope

Ce domaine couvre les réseaux de neurones multicouches et les techniques qui les rendent entraînables à grande échelle : les architectures de réseaux, des réseaux feedforward aux réseaux convolutionnels et récurrents, l'algorithme de rétropropagation et l'optimisation basée sur le gradient, les méthodes de régularisation telles que le dropout, et les modèles génératifs profonds. Il aborde les raisons pour lesquelles la profondeur permet l'apprentissage de caractéristiques composées et les défis qui surviennent lors de l'entraînement de modèles très profonds.

Sub-topics

• backpropagation and optimization
• convolutional and sequence models
• deep generative models
• neural network architectures

Core questions

• Pourquoi de nombreuses couches permettent-elles l'apprentissage de caractéristiques hiérarchiques ?
• Comment l'entraînement basé sur le gradient est-il rendu fonctionnel pour les réseaux profonds ?
• Quelles architectures conviennent aux images, aux séquences et aux autres types de données ?
• Comment les choix de régularisation et d'optimisation affectent-ils la généralisation ?

Key theories

Apprentissage de représentations hiérarchiques

L'empilement de couches permet à un réseau de composer des caractéristiques simples en des caractéristiques de plus en plus abstraites, de sorte que les premières couches détectent des bords ou des sons et les couches ultérieures détectent des objets ou des mots, appris automatiquement à partir des données.

Entraînement de bout en bout par rétropropagation

L'ensemble du réseau est optimisé conjointement en propageant les gradients d'erreur en arrière à travers ses couches, permettant ainsi l'apprentissage simultané de l'extraction de caractéristiques et de la prédiction, plutôt qu'une conception manuelle.

Profondeur et efficacité expressive

Les réseaux profonds peuvent représenter certaines fonctions de manière beaucoup plus compacte que les réseaux peu profonds, ce qui, combiné à de grands ensembles de données et à des capacités de calcul, explique leur succès empirique.

Clinical relevance

L'apprentissage profond a permis des avancées majeures en reconnaissance d'images et de la parole, en traduction automatique et dans les grands modèles de langage, et sous-tend une grande partie de l'intelligence artificielle contemporaine ; sa dépendance à l'égard de vastes ensembles de données et de calculs substantiels, ainsi que l'opacité des modèles qui en résultent, sont des considérations pratiques et éthiques centrales lors de son déploiement.

History

Les réseaux de neurones remontent au perceptron et à la rétropropagation, popularisée en 1986, mais les réseaux profonds étaient difficiles à entraîner jusqu'au milieu des années 2000. Les avancées en matière d'initialisation, de fonctions d'activation, de grands ensembles de données étiquetées et de calculs par processeurs graphiques ont permis la révolution de l'apprentissage profond à partir d'environ 2012, remodelant la vision par ordinateur, la parole et le traitement du langage naturel.

Debates

Échelle versus nouvelles idées

Une grande partie des progrès récents provient de l'entraînement de modèles plus grands sur davantage de données et de calculs, ce qui a suscité un débat sur les limites de la mise à l'échelle seule par rapport à la nécessité de nouvelles idées architecturales ou algorithmiques.

Key figures

• Geoffrey Hinton
• Yann LeCun
• Yoshua Bengio
• Juergen Schmidhuber

Seminal works

• goodfellow2016
• lecun2015
• bengio2013

Frequently asked questions

Qu'est-ce qui rend l'apprentissage profond ?

La profondeur fait référence au nombre de couches successives de transformation non linéaire entre l'entrée et la sortie. Chaque couche s'appuie sur les caractéristiques de la précédente, de sorte qu'un réseau profond apprend une hiérarchie de représentations plutôt qu'une seule cartographie directe.

Pourquoi l'apprentissage profond n'a-t-il pris son essor que récemment ?

Les idées fondamentales existaient depuis des décennies, mais l'entraînement des réseaux profonds nécessitait de grands ensembles de données étiquetées, du matériel parallèle rapide comme les processeurs graphiques, et des techniques telles qu'une meilleure initialisation et des fonctions d'activation. Ces éléments se sont réunis vers 2012, permettant des gains spectaculaires sur les tâches de perception.