方策勾配法

方策勾配法は、価値関数から方策を導出するのではなく、期待報酬の勾配を上昇させることによって、パラメータ化された方策を直接最適化します。

Definition

方策勾配法は、方策をパラメータの微分可能な関数として表現し、エージェントと環境との相互作用のサンプリングされた軌跡から必要な勾配を推定することで、期待累積報酬を増加させる方向にこれらのパラメータを更新します。

Scope

このトピックでは、方策パラメータを直接調整する強化学習手法について扱います。具体的には、方策勾配定理とREINFORCEアルゴリズム、分散を低減するためのベースラインとアドバンテージ推定の使用、学習された方策と学習された価値関数を組み合わせるアクタークリティック法、そして現代のトラストリージョン法と近接方策最適化法です。また、直接的な方策最適化が連続行動や確率的方策に適している理由についても考察します。

Core questions

• 勾配上昇によって方策を直接改善するにはどうすればよいですか？
• 方策勾配定理は何を表現していますか？
• ベースラインとクリティックは勾配推定の分散をどのように低減しますか？
• 方策勾配法が連続行動空間に適しているのはなぜですか？

Key theories

方策勾配定理

方策パラメータに関する期待報酬の勾配は、軌跡に関する期待値として記述でき、環境を微分することなくサンプリングされた経験から推定することができます。

アクタークリティック法

勾配上昇によって改善される方策と、低分散の批判を提供する学習された価値関数を組み合わせることで、純粋な方策勾配よりも安定かつ効率的に学習するアクタークリティック法が生まれます。

大規模な方策最適化

方策ベースの学習は、しばしば価値推定と探索と組み合わされ、自己対戦を通じてゲームを習得した囲碁AIシステムのような大規模な成功の基盤となっています。

Clinical relevance

方策勾配法とアクタークリティック法は、連続制御、ロボット工学、および人間のフィードバックからの大規模言語モデルの微調整における強化学習の標準的なアプローチです。これは、確率的方策を直接最適化し、価値ベースの手法が苦手とする行動空間を扱うことができるためです。

History

1992年のWilliamsによるREINFORCEアルゴリズムは、方策勾配を推定する直接的な方法を提供し、1990年代後半の方策勾配定理は厳密な基礎を与えました。アクタークリティックアーキテクチャ、そして後のトラストリージョン法と近接法は安定性を向上させ、方策最適化を現代の大規模強化学習の中心的なものとしました。

Key figures

• Ronald Williams
• Richard Sutton
• David Silver

Seminal works

• sutton2018
• silver2016
• williams1992

Frequently asked questions

価値関数ではなく、方策を直接最適化するのはなぜですか？

直接的な方策最適化は、確率的方策や連続行動空間を自然に扱います。これらの場合、価値関数から方策を抽出するのは困難です。また、行動の滑らかで段階的な改善を可能にし、制御やロボット工学のタスクに適しています。

アクタークリティック法とは何ですか？

アクタークリティック法は、2つの学習されたコンポーネントを維持します。1つは行動を選択する方策であるアクター、もう1つはそれらの行動がどれほど良かったかを評価する価値推定であるクリティックです。クリティックのフィードバックは方策更新の分散を低減し、学習をより安定させます。