Deep Reinforcement Learning

Deep Reinforcement Learning nutzt neuronale Netze zur Approximation von Wertfunktionen oder Strategien und skaliert Reinforcement Learning auf hochdimensionale Eingaben wie Bilder und komplexe Spiele.

Definition

Deep Reinforcement Learning ist Reinforcement Learning, bei dem tiefe neuronale Netze als Funktionsapproximatoren für Wertfunktionen, Strategien oder Modelle dienen, wodurch Agenten direkt aus hochdimensionalen Rohbeobachtungen lernen können, anstatt aus handgefertigten Zustandsmerkmalen.

Scope

Dieses Thema behandelt die Kombination von Reinforcement Learning mit tiefen neuronalen Netzen: Deep Q-Networks mit Experience Replay und Target Networks zur Stabilität, Deep Actor-Critic- und Policy-Optimization-Methoden sowie die Integration von Lernen mit Suche, wie in spielenden Systemen. Es befasst sich mit den Stabilitätsproblemen des Trainings von Wertfunktionen mit Funktionsapproximation und den daraus resultierenden wegweisenden Erfolgen.

Core questions

• Wie ermöglichen neuronale Netze dem Reinforcement Learning die Verarbeitung roher hochdimensionaler Eingaben?
• Warum ist die Kombination von Wertlernen mit Funktionsapproximation anfällig für Instabilität?
• Welche Techniken wie Experience Replay und Target Networks stabilisieren das Training?
• Wie werden Lernen und Suche in spielenden Agenten kombiniert?

Key theories

Deep Q-Networks

Die Approximation von Aktionswerten mit einem tiefen Netzwerk, stabilisiert durch Experience Replay und ein langsam aktualisiertes Target Network, ermöglichte es einer einzigen Architektur, viele Atari-Spiele von Pixeln bis auf menschliches Niveau zu lernen.

Lernen kombiniert mit Suche

Die Kombination von tiefen Policy- und Wertnetzwerken mit Monte-Carlo-Baumsuche und Training durch Selbstspiel führte zu Systemen, die das Spiel Go meisterten und die stärksten menschlichen Spieler übertrafen.

Stabilität der Funktionsapproximation

Die Kombination von Bootstrapping, Off-Policy-Lernen und Funktionsapproximation kann dazu führen, dass das Training divergiert, daher stützt sich Deep Reinforcement Learning auf sorgfältige Techniken, um Wertschätzungen stabil zu halten.

Clinical relevance

Deep Reinforcement Learning führte zu einigen der sichtbarsten Demonstrationen künstlicher Intelligenz, einschließlich übermenschlichem Spielverhalten und Fortschritten in Robotik und Steuerung, und seine Techniken beeinflussen die belohnungsgesteuerte Feinabstimmung großer Modelle; seine hohen Stichprobenkosten und Trainingsinstabilität bleiben wichtige praktische Einschränkungen.

History

Das Deep Q-Network von 2015 zeigte, dass Reinforcement Learning mit tiefer Funktionsapproximation direkt aus Pixeln lernen konnte, und die Go-spielenden Systeme von 2016 kombinierten tiefe Netze mit Suche und Selbstspiel, um Top-menschliche Spieler zu besiegen. Diese Ergebnisse, aufbauend auf den von Sutton und Barto kodifizierten Grundlagen des Reinforcement Learning, etablierten Deep Reinforcement Learning als wichtige Forschungsrichtung.

Key figures

• Volodymyr Mnih
• David Silver
• Demis Hassabis

Seminal works

• mnih2015
• silver2016
• sutton2018

Frequently asked questions

Was hat das Deep Q-Network demonstriert?

Es zeigte, dass ein einzelner neuronaler Netzwerk-Agent Dutzende verschiedener Atari-Spiele direkt aus Bildschirm-Pixeln und der Punktzahl lernen konnte, wobei er bei vielen von ihnen ohne spielspezifische Anpassung menschliches Leistungsniveau erreichte, unter Verwendung von Experience Replay und einem Target Network zur Stabilität.

Warum ist Deep Reinforcement Learning oft instabil?

Die Kombination von gebootstrappten Wertschätzungen, Off-Policy-Daten und neuronaler Netzwerk-Approximation kann Fehler verstärken und dazu führen, dass das Training divergiert. Techniken wie Experience Replay, Target Networks und sorgfältige Wahl der Lernrate werden verwendet, um das Lernen stabil zu halten.