Derin Pekiştirmeli Öğrenme
Derin pekiştirmeli öğrenme, değer fonksiyonlarını veya politikaları yaklaştırmak için yapay sinir ağlarını kullanır ve pekiştirmeli öğrenmeyi görüntüler ve karmaşık oyunlar gibi yüksek boyutlu girdilere ölçeklendirir.
Tanım
Derin pekiştirmeli öğrenme, derin yapay sinir ağlarının değer fonksiyonları, politikalar veya modeller için fonksiyon yaklaştırıcıları olarak görev yaptığı bir pekiştirmeli öğrenme türüdür; bu sayede ajanlar, elle tasarlanmış durum özelliklerinden ziyade yüksek boyutlu ham gözlemlerden doğrudan öğrenme yeteneği kazanmaktadır.
Kapsam
Bu konu, pekiştirmeli öğrenmenin derin yapay sinir ağları ile birleşimini kapsamaktadır: kararlılık için deneyim tekrarı ve hedef ağlara sahip derin Q-ağları, derin aktör-kritik ve politika optimizasyon yöntemleri ile oyun oynayan sistemlerde olduğu gibi öğrenmenin arama ile entegrasyonu incelenmektedir. Fonksiyon yaklaşımı ile değer fonksiyonlarının eğitilmesindeki kararlılık zorlukları ve bunun sonucunda elde edilen dönüm noktası niteliğindeki başarılar ele alınmaktadır.
Temel sorular
- Yapay sinir ağları, pekiştirmeli öğrenmenin ham yüksek boyutlu girdileri nasıl işlemesini sağlamaktadır?
- Değer öğrenmesini fonksiyon yaklaşımı ile birleştirmek neden kararsızlığa eğilimlidir?
- Deneyim tekrarı ve hedef ağlar gibi hangi teknikler eğitimi stabilize etmektedir?
- Oyun oynayan ajanlarda öğrenme ve arama nasıl birleştirilmektedir?
Temel kuramlar
- Derin Q-ağları
- Eylem değerlerinin derin bir ağ ile yaklaştırılması, deneyim tekrarı ve yavaşça güncellenen bir hedef ağ ile stabilize edilerek, tek bir mimarinin birçok Atari oyununu piksellerden insan seviyesine kadar öğrenmesini sağlamıştır.
- Arama ile birleştirilmiş öğrenme
- Derin politika ve değer ağlarının Monte Carlo ağaç araması ile eşleştirilmesi ve kendi kendine oynama yoluyla eğitilmesi, Go oyununda ustalaşan ve en güçlü insan oyuncuları geride bırakan sistemler ortaya çıkarmıştır.
- Fonksiyon yaklaşımının kararlılığı
- Önyükleme (bootstrapping), politika dışı öğrenme (off-policy learning) ve fonksiyon yaklaşımının birleştirilmesi, eğitimin ıraksamasına neden olabilmektedir; bu nedenle derin pekiştirmeli öğrenme, değer tahminlerini kararlı tutmak için dikkatli tekniklere dayanmaktadır.
Klinik önem
Derin pekiştirmeli öğrenme, insanüstü oyun performansı ile robotik ve kontrol alanındaki ilerlemeler de dahil olmak üzere yapay zekanın en dikkat çekici gösterimlerinden bazılarını sağlamıştır. Teknikleri, büyük modellerin ödül odaklı ince ayarını bilgilendirmekle birlikte, yüksek örnek maliyeti ve eğitimdeki kararsızlığı önemli pratik sınırlamalar olarak varlığını sürdürmektedir.
Tarihçe
2015 yılındaki derin Q-ağı, derin fonksiyon yaklaşımı ile pekiştirmeli öğrenmenin piksellerden doğrudan öğrenebildiğini göstermiştir. 2016 yılındaki Go oynayan sistemler ise derin ağları arama ve kendi kendine oynama ile birleştirerek en iyi insan oyuncuları mağlup etmiştir. Sutton ve Barto tarafından kodifiye edilen pekiştirmeli öğrenme temelleri üzerine inşa edilen bu sonuçlar, derin pekiştirmeli öğrenmeyi önemli bir araştırma yönü olarak kabul ettirmiştir.
Öne çıkan isimler
- Volodymyr Mnih
- David Silver
- Demis Hassabis
İlgili konular
Temel eserler
- mnih2015
- silver2016
- sutton2018
Sıkça sorulan sorular
- Derin Q-ağı neyi göstermiştir?
- Tek bir yapay sinir ağı ajanının, kararlılık için deneyim tekrarı ve bir hedef ağ kullanarak, oyuna özgü ayarlama olmaksızın, düzinelerce farklı Atari oyununu doğrudan ekran piksellerinden ve skordan oynamayı öğrenebildiğini ve birçoğunda insan seviyesinde performansa ulaşabildiğini göstermiştir.
- Derin pekiştirmeli öğrenme neden sıklıkla kararsızdır?
- Önyüklemeli değer tahminlerini, politika dışı verileri ve yapay sinir ağı yaklaşımını birleştirmek, hataları artırabilir ve eğitimin ıraksamasına neden olabilir. Öğrenmeyi kararlı tutmak için deneyim tekrarı, hedef ağlar ve dikkatli öğrenme oranı seçimleri gibi teknikler kullanılmaktadır.