Yarı denetimli Pekiştirmeli Öğrenme
Semi-supervised Reinforcement Learning (SSRL) · Ayrıca şöyle bilinir: SSRL, semi-supervised RL, RL with unlabeled data, label-efficient reinforcement learning
Yarı denetimli pekiştirmeli öğrenme (SSRL), standart pekiştirmeli öğrenmeyi —bir ajanın seyrek ödül sinyallerinden öğrendiği— etiketlenmemiş ortam etkileşimlerinden yapı çıkaran yarı denetimli tekniklerle birleştirir. Amaç, ödül geri bildiriminin maliyetli, gecikmeli olduğu veya ajanın deneyiminin yalnızca bir kısmı için mevcut olduğu durumlarda örnek verimliliğini ve genellemesini iyileştirmektir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Ödül sinyallerinin seyrek, elde edilmesi maliyetli olduğu veya ortam adımlarının yalnızca bir kısmı için mevcut olduğu durumlarda SSRL kullanın — örneğin robotik manipülasyon, sağlık tedavi politikaları veya nadir geri bildirimli oyun ortamlarında. Özellikle büyük miktarda çevrimdışı veya keşifsel etkileşim verisinin mevcut olduğu ancak etiketlemenin pratik olmadığı durumlarda değerlidir. Ek karmaşıklığın fayda sağlamadan maliyet eklediği yoğun ödüllü ortamlarda saf RL için doğrudan bir değiştirme olarak kullanmayın. Ortam dinamiklerinin o kadar stokastik olduğu ve etiketlenmemiş geçişlerin az öngörücü sinyal taşıdığı durumlardan kaçının.
Güçlü yönler & sınırlılıklar
- Etiketlenmemiş ortam geçişlerinden sinyal çıkararak örnek verimliliğini önemli ölçüde artırır.
- Doğru tasarlanması zor olabilen yoğun ödül şekillendirmesine olan bağımlılığı azaltır.
- Etiketlenmemiş veriler üzerinde eğitilen paylaşılan kodlayıcı, görülmemiş ortam varyasyonlarına genelleştirmeyi iyileştirir.
- Modern RL algoritmalarıyla (PPO, SAC, DQN) yardımcı bir hedef sarmalayıcısı olarak uyumludur.
- Çevrimdışı ve çevrimiçi öğrenme rejimlerini destekler, önceden toplanmış etkileşim günlüklerinin kullanımını sağlar.
- Yardımcı hedeflerin ek karmaşıklığı, kayıp ağırlıklarının ve öğrenme oranlarının dikkatli bir şekilde ayarlanmasını gerektirir.
- Etiketlenmemiş geçişler, ödülle ilgili durumlarla yapı paylaşmıyorsa, yardımcı öğrenme kodlayıcıyı yanıltabilir.
- Teorik yakınsama garantileri, saf denetimli veya standart RL ayarlarına göre daha zayıftır.
- Değerlendirme daha zordur: standart RL kıyaslamaları, SSRL'yi motive eden örnek verimliliği kazançlarını ortaya çıkarmayabilir.
- Çift hedefli eğitim nedeniyle vanilla RL'den hesaplama açısından daha ağırdır.
SSS
Yarı denetimli RL, öz-denetimli RL'den nasıl farklıdır?
Öz-denetimli RL, tamamen içsel sinyallere dayanarak temsil öğrenmesi sırasında harici ödül kullanmaz. Yarı denetimli RL, her zaman bir miktar ödül sinyaline sahiptir — standart RL'yi etiketlenmemiş geçişlerdeki yardımcı hedeflerle takviye eder, ödülü değiştirmez.
Genellikle hangi yardımcı hedefler kullanılır?
Karşılaştırmalı kayıplar (CURL), ileri ve ters dinamik tahmini, veri artırma tutarlılığı (DrQ) ve varyasyonel durum tahmini yerleşik seçeneklerdir. En iyi seçenek gözlem türüne bağlıdır: karşılaştırmalı yöntemler piksel girdileri için uygundur, dinamik modeller ise düşük boyutlu durum uzayları için uygundur.
SSRL her zaman standart RL'den daha mı iyi performans gösterir?
Her zaman değil. Hızlı yakınsama ile yoğun ödüllü ortamlarda, yardımcı ek yük ölçülebilir fayda sağlamadan maliyet ekleyebilir. SSRL, ödülün seyrek veya maliyetli olduğu ve etiketlenmemiş geçişlerin ilgili durum uzayını kapsadığı durumlarda parlar.
SSRL'yi çevrimdışı verilerle uygulayabilir miyim?
Evet. Etiketlenmemiş arabellek önceden toplanmış bir çevrimdışı veri kümesi olabilir. Bu veriler üzerinde eğitilen kodlayıcı daha sonra seyrek ödül kullanarak çevrimiçi RL ile ince ayarlanabilir; bu kalıba bazen çevrimdışı ön eğitim ve ardından çevrimiçi adaptasyon denir.
Hangi metrikleri raporlamalıyım?
Örnek verimliliği eğrilerini (kümülatif ödül - ortam adımları), nihai asimptotik performansı ve — eğer kıyaslamaları karşılaştırıyorsanız — SSRL'nin ödül-yalnız kıyaslamasının asimptotik performansına ilk ulaştığı adım sayısını raporlayın.
Kaynaklar
- Zhan, X., Zhu, X., & Shi, H. (2022). Deepthermal: Combustion optimization for thermal power generating units using offline reinforcement learning. Proceedings of the AAAI Conference on Artificial Intelligence, 36(4), 4680–4688. link ↗
- Laskin, M., Srinivas, A., & Abbeel, P. (2020). CURL: Contrastive Unsupervised Representations for Reinforcement Learning. Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 5639–5650. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Semi-supervised Reinforcement Learning (SSRL). ScholarGate. https://scholargate.app/tr/deep-learning/semi-supervised-reinforcement-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Etki Alanı Uyumlu Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır
- Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır
- Kendi Kendine Denetimli Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır
- Yarı denetimli TransformerDerin öğrenme↔ karşılaştır
- Pekiştirmeli Öğrenme ile Transfer ÖğrenmesiDerin öğrenme↔ karşılaştır
- Zayıf Gözetimli Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır