İnce Ayarlı Pekiştirmeli Öğrenme
Fine-Tuned Reinforcement Learning (Policy Adaptation via Fine-Tuning) · Ayrıca şöyle bilinir: RL fine-tuning, policy fine-tuning, RLHF, reinforcement learning from human feedback
İnce Ayarlı Pekiştirmeli Öğrenme, önceden eğitilmiş bir politikayı veya modeli, sıfırdan yeniden eğitmek yerine pekiştirmeli öğrenme sinyalleri — insan geri bildirimi dahil — kullanarak yeni bir göreve veya davranışsal hedefe uyarlar. RLHF ile popüler hale gelen bu yöntem, büyük dil modellerini hizalamanın ve derin pekiştirmeli öğrenme ajanlarını minimum ek veriyle özel ortamlara uyarlamanın temel tekniğidir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Yetenekli bir temel politika mevcut olduğunda ve dil modeli çıktısını insan tercihlerine hizlamak, bir oyun oynama ajanını yeni bir haritaya uyarlamak veya bir robot kontrolcüsünü yeni bir göreve özelleştirmek dahil olmak üzere, davranışını özel bir hedefe uyarlamanız gerektiğinde ince ayarlı pekiştirmeli öğrenmeyi kullanın; sıfırdan yeniden eğitmeye gerek kalmadan. Özellikle görev özel etiketlenmiş verinin kıt olduğu ancak ödül sinyallerinin veya insan sıralamalarının elde edilebildiği durumlarda değerlidir. Yeterli bir temel politika mevcut olmadığında kullanmayın, çünkü zayıf bir öncülü ince ayarlamak temel eksiklikleri düzeltmeyecektir; bu durumda önce sıfırdan eğitim veya denetimli ön eğitim gereklidir. Ayrıca, ödül sinyalinin yetersiz belirtildiği durumlardan kaçının, çünkü ödül hackleme ciddi bir risk haline gelir.
Güçlü yönler & sınırlılıklar
- Yeni görevlerde pekiştirmeli öğrenme ajanlarını sıfırdan eğitmeye kıyasla işlem maliyetini önemli ölçüde azaltır.
- InstructGPT ve ChatGPT ile gösterildiği gibi, insan tercih verilerini kullanarak davranışsal hizalamayı mümkün kılar.
- KL düzenlileştirmesi, politika uyum sağlarken genel yetkinliği korumaya yardımcı olur ve felaket unutmayı azaltır.
- Çeşitli alanlarda uygulanabilir: dil modelleri, robotik, oyunlar ve öneri sistemleri.
- PPO ince ayarı kararlıdır ve iyi anlaşılmıştır, sağlam açık kaynak uygulamaları mevcuttur.
- Performans, temel politikanın kalitesiyle sınırlıdır; ince ayar temel bir zayıf öncülü telafi edemez.
- Politikanın istenen davranıştan sapan ödül sinyalini maksimize etmenin yollarını bulmasıyla ödül hackleme kalıcı bir risktir.
- Ödül modeli eğitiminde insan geri bildirimi toplamak pahalıdır ve başvuru sahibi tutarsızlığına tabidir.
- Temel politikanın eğitim ortamı ile yeni görev arasındaki dağılım kayması, ince ayar sırasında istikrarsızlıklara neden olabilir.
SSS
İnce ayarlı pekiştirmeli öğrenme ile standart pekiştirmeli öğrenme arasındaki fark nedir?
Standart pekiştirmeli öğrenme, rastgele başlatmadan başlayarak ortam ödül sinyallerini kullanarak birçok etkileşim üzerinden bir politika eğitir. İnce ayarlı pekiştirmeli öğrenme, önceden eğitilmiş bir temel politika ile başlar ve davranışı uyarlamak için hedeflenmiş pekiştirmeli öğrenme güncellemeleri uygular, yeni görevde iyi performans elde etmek için çok daha az etkileşim gerektirir.
RLHF, ince ayarlı pekiştirmeli öğrenmenin tek biçimi midir?
Hayır. RLHF, insan tercih karşılaştırmalarını ödül sinyali olarak kullanan en belirgin çeşididir, ancak ince ayarlı pekiştirmeli öğrenme aynı zamanda ortam ödülü, hedef koşullu ince ayar ve küratörlü veri kümeleri üzerinde çevrimdışı pekiştirmeli öğrenme ince ayarı yoluyla politika uyarlamasını da içerir.
RL ince ayarı sırasında felaket unutmayı nasıl önlerim?
Standart yaklaşım, mevcut politika ile dondurulmuş temel politika arasındaki KL ıraksaklık cezasını pekiştirmeli öğrenme amacına eklemektir. Bu, öncüden büyük sapmaları cezalandırır ve hedeflenmiş uyarlamaya izin verirken genel yetenekleri korur.
RLHF için ne tür bir ödül modeline ihtiyacım var?
Tipik olarak, insan ikili tercih karşılaştırmaları üzerinde eğitilmiş bir sinir ağı — başvuru sahipleri çıktı çiftlerini sıralar ve ödül modeli insanların hangi çıktıyı tercih ettiğini öğrenir. Bu ödül modelinin kalitesi, hizalama kalitesi için birincil darboğazdır.
İnce ayar için PPO yerine diğer pekiştirmeli öğrenme algoritmalarını ne zaman kullanmalıyım?
PPO, kararlılığı, sınırlı güncellemeler için kırpılmış vekil amaç fonksiyonunun kullanılabilirliği ve RLHF'deki güçlü ampirik geçmişi nedeniyle en yaygın seçimdir. Basitlik veya çevrimdışı eğitimin önceliklendirildiği durumlarda REINFORCE veya DPO (Direct Preference Optimization) gibi alternatifler tercih edilebilir.
Kaynaklar
- Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730–27744. link ↗
- Christiano, P., Leike, J., Brown, T. B., Martic, M., Legg, S., & Amodei, D. (2017). Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems, 30. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Fine-Tuned Reinforcement Learning (Policy Adaptation via Fine-Tuning). ScholarGate. https://scholargate.app/tr/deep-learning/fine-tuned-reinforcement-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı İnce Ayarlı SınıflandırmaDerin öğrenme↔ karşılaştır
- İnce Ayarlanmış TransformerDerin öğrenme↔ karşılaştır
- Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır
- Kendi Kendine Denetimli Pekiştirmeli ÖğrenmeDerin öğrenme↔ karşılaştır
- Pekiştirmeli Öğrenme ile Transfer ÖğrenmesiDerin öğrenme↔ karşılaştır