Méthodes de gradient de politique

Les méthodes de gradient de politique optimisent directement une politique paramétrée en suivant le gradient de la récompense attendue, plutôt que de dériver la politique d'une fonction de valeur.

Definition

Les méthodes de gradient de politique représentent la politique comme une fonction différentiable de paramètres et mettent à jour ces paramètres dans la direction qui augmente la récompense cumulative attendue, en estimant le gradient requis à partir de trajectoires échantillonnées de l'interaction de l'agent avec l'environnement.

Scope

Ce sujet couvre les méthodes d'apprentissage par renforcement qui ajustent directement les paramètres de politique : le théorème du gradient de politique et l'algorithme REINFORCE, l'utilisation de lignes de base (baselines) et d'estimations d'avantage pour réduire la variance, les méthodes acteur-critique qui combinent une politique apprise avec une fonction de valeur apprise, et l'optimisation de politique par région de confiance (trust-region) et proximale modernes. Il aborde les raisons pour lesquelles l'optimisation directe de politique convient aux actions continues et aux politiques stochastiques.

Core questions

• Comment une politique peut-elle être améliorée directement par l'ascension de gradient ?
• Qu'exprime le théorème du gradient de politique ?
• Comment les lignes de base (baselines) et les critiques réduisent-elles la variance des estimations de gradient ?
• Pourquoi les méthodes de gradient de politique sont-elles bien adaptées aux espaces d'action continus ?

Key theories

Le théorème du gradient de politique

Le gradient de la récompense attendue par rapport aux paramètres de politique peut être exprimé comme une espérance sur les trajectoires, ce qui permet de l'estimer à partir d'une expérience échantillonnée sans différencier l'environnement.

Méthodes acteur-critique

La combinaison d'une politique améliorée par l'ascension de gradient avec une fonction de valeur apprise qui fournit une critique à faible variance donne des méthodes acteur-critique qui apprennent de manière plus stable et efficace que les gradients de politique purs.

Optimisation de politique à grande échelle

L'apprentissage basé sur la politique, souvent combiné à l'estimation de valeur et à la recherche, est à la base de succès à grande échelle tels que les systèmes de jeu de Go qui ont maîtrisé le jeu par l'auto-apprentissage.

Clinical relevance

Les méthodes de gradient de politique et acteur-critique constituent l'approche standard pour l'apprentissage par renforcement dans le contrôle continu, la robotique et le réglage fin (fine-tuning) des grands modèles linguistiques à partir de retours humains, car elles optimisent directement les politiques stochastiques et gèrent des espaces d'action avec lesquels les méthodes basées sur la valeur rencontrent des difficultés.

History

L'algorithme REINFORCE de Williams en 1992 a offert une méthode directe pour estimer les gradients de politique, et le théorème du gradient de politique de la fin des années 1990 a fourni une base rigoureuse. Les architectures acteur-critique et, plus tard, les méthodes par région de confiance (trust-region) et proximales ont amélioré la stabilité, rendant l'optimisation de politique centrale à l'apprentissage par renforcement moderne à grande échelle.

Key figures

• Ronald Williams
• Richard Sutton
• David Silver

Seminal works

• sutton2018
• silver2016
• williams1992

Frequently asked questions

Pourquoi optimiser directement la politique plutôt qu'une fonction de valeur ?

L'optimisation directe de politique gère naturellement les politiques stochastiques et les espaces d'action continus, où l'extraction d'une politique à partir d'une fonction de valeur est complexe. Elle permet également une amélioration douce et incrémentale du comportement, ce qui convient aux tâches de contrôle et de robotique.

Qu'est-ce qu'une méthode acteur-critique ?

Une méthode acteur-critique maintient deux composantes apprises : un acteur, la politique qui sélectionne les actions, et un critique, une estimation de valeur qui évalue la qualité de ces actions. Le retour du critique réduit la variance des mises à jour de la politique, rendant l'apprentissage plus stable.