Politika Gradyan Yöntemleri
Policy Gradient Methods (REINFORCE / Actor-Critic) · Ayrıca şöyle bilinir: REINFORCE, actor-critic, policy optimization, politika gradyanı
Politika gradyan yöntemleri, eylem-değerleri öğrenip açgözlü davranmak yerine, parametrelendirilmiş bir politikayı doğrudan beklenen getirinin gradyan yükselişiyle optimize eden pekiştirmeli öğrenme algoritmalarıdır. Ronald Williams'ın 1992 REINFORCE algoritması ve Sutton ile meslektaşlarının (2000) politika gradyan teoremi üzerine kurulan bu yöntemler, stokastik ve sürekli eylem uzaylarını doğal olarak ele alır ve modern aktör-kritik ile derin pekiştirmeli öğrenme algoritmalarının temelini oluşturur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Eylem uzayının sürekli veya yüksek boyutlu olduğu, stokastik bir politikanın istendiği (keşif, kısmi gözlemlenebilirlik, çoklu ajan) veya bir politikayı uçtan uca bir sinir ağı ile optimize etmek istediğinizde politika gradyan yöntemlerini kullanın – robotik kontrol, sürekli kontrol kıyaslamaları, diyalog/öneri politikaları ve dil modelleri için RLHF'nin temeli olarak. Doğrudan hedefi optimize ederler ve değere dayalı yöntemlerin zorlandığı sürekli eylemleri ele alırlar. Maliyetleri: gradyan tahminleri yüksek varyanslıdır (taban çizgileri/kritikler ile azaltılır), tipik olarak politika üzerinde ve örnek-verimsizdirler, adım büyüklüğü ve ödül ölçeklendirmesine duyarlıdırlar ve yerel optimumlara eğilimlidirler. Eylem uzayının küçük ve ayrık olduğu durumlarda, değere dayalı Q-öğrenme/DQN daha basit ve örnek-verimli olabilir; güven bölgesi varyantları (TRPO/PPO) adım büyüklüğü kararsızlığını giderir.
Güçlü yönler & sınırlılıklar
- Politikayı doğrudan optimize edin; sürekli ve yüksek boyutlu eylem uzaylarını ele alın.
- Stokastik politikaları doğal olarak temsil edin, keşif ve kısmi gözlemlenebilirliğe yardımcı olun.
- Sinir ağı fonksiyon yaklaşıklığı (derin pekiştirmeli öğrenme) ile sorunsuz entegre olun.
- Modern algoritmaların (A2C/A3C, TRPO, PPO, DDPG) ve RLHF'nin temeli.
- Yüksek varyanslı gradyan tahminleri; pratik olmak için taban çizgileri veya kritiklere ihtiyaç duyar.
- Genellikle politika üzerinde ve politika dışı değer yöntemlerine kıyasla örnek-verimsizdir.
- Öğrenme oranı, ödül ölçeklendirmesi ve yerel optimumlara yakınsama eğilimi gösterir.
- Kararlılık özen gerektirir; naif büyük adımlar politikayı çökebilir.
SSS
Politika gradyanları Q-öğrenmeden nasıl farklıdır?
Q-öğrenme eylem-değerlerini öğrenir ve açgözlü davranır; politika gradyanları politikayı doğrudan parametrelendirir ve beklenen getiri üzerinde gradyan yükselişi yoluyla optimize eder. Politika gradyanları sürekli/stokastik eylemleri doğal olarak ele alır ancak daha yüksek varyanslı ve genellikle politika üzerindedir, oysa Q-öğrenme politika dışıdır ve küçük ayrık eylemler için genellikle daha örnek-verimlidir.
Aktör-kritik yöntemi nedir?
Politika gradyanı ile güncellenen bir politika (aktör) ile durumların/eylemlerin ne kadar iyi olduğunu tahmin eden öğrenilmiş bir değer fonksiyonunu (kritik) birleştirir. Kritik, düşük varyanslı bir avantaj sinyali sağlayarak öğrenmeyi stabilize eder ve hızlandırır. A2C/A3C, PPO ve DDPG aktör-kritik algoritmalarıdır.
Politika gradyanları neden bir taban çizgisi kullanır?
Ham gradyan tahmini çok gürültülüdür. Getiriden bir taban çizgisi – tipik olarak bir durum-değer tahmini – çıkarmak, yanlılık eklemeden gradyanın varyansını azaltır, bu da öğrenmeyi çok daha kararlı ve verimli hale getirir. Avantaj fonksiyonu (getiri eksi değer), yaygın tercihtir.
Kaynaklar
- Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256. DOI: 10.1007/BF00992696 ↗
- Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 2). Policy Gradient Methods (REINFORCE / Actor-Critic). ScholarGate. https://scholargate.app/tr/machine-learning/policy-gradient
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Dışbükey OptimizasyonOptimizasyon↔ karşılaştır
- Derin Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır
- Q-ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Stokastik Gradyan İnişi (SGD)Makine öğrenmesi↔ karşılaştır