Faltungs- und Sequenzmodelle

Faltungsnetzwerke nutzen die räumliche Struktur in gitterartigen Daten wie Bildern, während rekursive und auf Aufmerksamkeit basierende Modelle Sequenzen wie Text und Sprache verarbeiten.

Definition

Faltungsmodelle wenden gelernte Filter über ein Gitter an, sodass derselbe Merkmalsdetektor an jeder Position wiederverwendet wird, während Sequenzmodelle geordnete Eingaben verarbeiten, indem sie den Zustand über die Zeit beibehalten oder über Positionen hinweg Aufmerksamkeit richten, wobei jede Architektur vorherige Annahmen kodiert, die für ihren Datentyp geeignet sind.

Scope

Dieses Thema behandelt Architekturen, die auf strukturierte Daten spezialisiert sind: Faltungsneuronale Netze mit lokalen Filtern, Gewichtsverteilung und Pooling für Bilder und andere Gitter; rekursive Netze und Long Short-Term Memory Einheiten für Sequenzen mit Langzeitabhängigkeiten; und Aufmerksamkeitsmechanismen, die Beziehungen über Positionen hinweg modellieren. Es werden die induktiven Verzerrungen behandelt, die diese Architekturen effektiv machen.

Core questions

• Wie nutzt die Faltung die Translationsstruktur in Bildern aus?
• Warum helfen Gewichtsverteilung und Pooling bei der Generalisierung und Effizienz?
• Wie verarbeiten rekursive und Long Short-Term Memory Einheiten lange Sequenzen?
• Was fügt Aufmerksamkeit über die rein rekursive Verarbeitung hinaus hinzu?

Key theories

Faltung und Gewichtsverteilung

Faltungsschichten wenden denselben kleinen Filter über alle Positionen an, wodurch Parameter drastisch reduziert und Translationsäquivarianz eingebaut wird, sodass an einer Stelle gelernte Merkmale überall übertragen werden.

Long Short-Term Memory

Gated Recurrent Units wie Long Short-Term Memory pflegen eine geschützte Speicherzelle, wodurch rekursive Netze Abhängigkeiten über viele Zeitschritte hinweg lernen können, was reine Rekursion nicht vermag.

Aufmerksamkeit über Sequenzen

Aufmerksamkeitsmechanismen ermöglichen es einem Modell, Informationen von allen Positionen einer Sequenz direkt zu gewichten und zu kombinieren, wodurch Langzeitbeziehungen erfasst und eine hochparallele Sequenzverarbeitung ermöglicht wird.

Clinical relevance

Faltungsnetzwerke revolutionierten die Computer Vision und die medizinische Bildgebung, während Sequenzmodelle die Spracherkennung und maschinelle Übersetzung vorantrieben und durch Aufmerksamkeit die großen Sprachmodelle hinter modernen Systemen zur Verarbeitung natürlicher Sprache; die Anpassung der Architektur an die Datenstruktur bleibt ein zentrales Designprinzip im angewandten Deep Learning.

History

Faltungsnetzwerke entwickelten sich aus Fukushimas Neokognitron und LeCuns Arbeit zur Ziffernerkennung, und ihr Erfolg bei der großflächigen Bildklassifikation im Jahr 2012 löste den Deep-Learning-Boom aus. Long Short-Term Memory, 1997 eingeführt, löste das Problem der Langzeitabhängigkeit für Sequenzen, und Aufmerksamkeitsmechanismen wurden später zur Grundlage von Transformer-Modellen.

Key figures

• Yann LeCun
• Sepp Hochreiter
• Juergen Schmidhuber
• Kunihiko Fukushima

Seminal works

• hochreiter1997
• lecun2015
• goodfellow2016

Frequently asked questions

Warum sind Faltungsnetzwerke so gut für Bilder geeignet?

Bilder weisen lokale Strukturen und Muster auf, die überall erscheinen können. Die Faltung wendet denselben Filter über das gesamte Bild an, sodass ein Merkmal wie eine Kante überall dort erkannt wird, wo es auftritt, wobei weitaus weniger Parameter als bei einer vollständig verbundenen Schicht verwendet werden und eine bessere Generalisierung erreicht wird.

Welches Problem löst Long Short-Term Memory?

Reine rekursive Netze haben Schwierigkeiten, Abhängigkeiten zu lernen, die sich über viele Zeitschritte erstrecken, da Gradienten verschwinden. Long Short-Term Memory führt eine gated memory cell ein, die Informationen über lange Intervalle hinweg bewahrt und es so ermöglicht, langfristige zeitliche Muster zu lernen.