Modèles convolutionnels et séquentiels

Les réseaux convolutionnels exploitent la structure spatiale des données en grille, telles que les images, tandis que les modèles récurrents et basés sur l'attention traitent les séquences, comme le texte et la parole.

Definition

Les modèles convolutionnels appliquent des filtres appris sur une grille de sorte que le même détecteur de caractéristiques est réutilisé à chaque emplacement, tandis que les modèles séquentiels traitent les entrées ordonnées en maintenant un état au fil du temps ou en portant attention à travers les positions, chaque architecture encodant des hypothèses a priori adaptées à son type de données.

Scope

Ce sujet aborde les architectures spécialisées pour les données structurées : les réseaux neuronaux convolutionnels avec des filtres locaux, le partage de poids et le pooling pour les images et autres grilles ; les réseaux récurrents et les unités de mémoire à long terme (long short-term memory) pour les séquences avec des dépendances à longue portée ; et les mécanismes d'attention qui modélisent les relations entre les positions. Il traite également des biais inductifs qui tendent à rendre ces architectures efficaces.

Core questions

• Comment la convolution exploite-t-elle la structure de translation dans les images ?
• Pourquoi le partage de poids et le pooling contribuent-ils à la généralisation et à l'efficacité ?
• Comment les unités récurrentes et de mémoire à long terme gèrent-elles les longues séquences ?
• Qu'apporte l'attention par rapport à un traitement purement récurrent ?

Key theories

Convolution et partage de poids

Les couches convolutionnelles appliquent le même petit filtre à toutes les positions, réduisant considérablement le nombre de paramètres et intégrant l'équivariance de translation, de sorte que les caractéristiques apprises à un endroit se transfèrent partout.

Mémoire à long terme (Long short-term memory)

Les unités récurrentes à portes, telles que la mémoire à long terme (long short-term memory), maintiennent une cellule de mémoire protégée, permettant aux réseaux récurrents d'apprendre des dépendances sur de nombreux pas de temps que la récurrence simple ne peut pas gérer.

Attention sur les séquences

Les mécanismes d'attention permettent à un modèle de pondérer et de combiner directement les informations de toutes les positions d'une séquence, capturant ainsi des relations à longue portée et permettant un traitement de séquence hautement parallèle.

Clinical relevance

Les réseaux convolutionnels ont révolutionné la vision par ordinateur et l'imagerie médicale, tandis que les modèles séquentiels ont alimenté la reconnaissance vocale et la traduction automatique et, grâce à l'attention, les grands modèles linguistiques qui sous-tendent les systèmes modernes de traitement du langage naturel ; l'adéquation de l'architecture à la structure des données demeure un principe de conception central en apprentissage profond appliqué.

History

Les réseaux convolutionnels sont issus du néocognitron de Fukushima et des travaux de LeCun sur la reconnaissance de chiffres, et leur succès en 2012 dans la classification d'images à grande échelle a déclenché l'essor de l'apprentissage profond. La mémoire à long terme (long short-term memory), introduite en 1997, a résolu le problème des dépendances à longue portée pour les séquences, et les mécanismes d'attention sont devenus plus tard le fondement des modèles de transformeurs.

Key figures

• Yann LeCun
• Sepp Hochreiter
• Juergen Schmidhuber
• Kunihiko Fukushima

Seminal works

• hochreiter1997
• lecun2015
• goodfellow2016

Frequently asked questions

Pourquoi les réseaux convolutionnels sont-ils si efficaces pour les images ?

Les images possèdent une structure locale et des motifs qui peuvent apparaître n'importe où. La convolution applique le même filtre sur toute l'image, de sorte qu'une caractéristique comme un contour est détectée partout où elle se produit, en utilisant beaucoup moins de paramètres qu'une couche entièrement connectée et en généralisant mieux.

Quel problème la mémoire à long terme (long short-term memory) résout-elle ?

Les réseaux récurrents simples ont du mal à apprendre des dépendances qui s'étendent sur de nombreux pas de temps en raison de la disparition des gradients. La mémoire à long terme (long short-term memory) introduit une cellule de mémoire à portes qui préserve l'information sur de longs intervalles, rendant possible l'apprentissage de motifs temporels à longue portée.