LoRA ve PEFT
Low-Rank Adaptation and Parameter-Efficient Fine-Tuning · Ayrıca şöyle bilinir: LoRA ve PEFT — Parametre Verimli İnce Ayar, Low-Rank Adaptation, parameter-efficient fine-tuning, prefix tuning, prompt tuning
Hu ve ark. tarafından 2022'de tanıtılan LoRA (Düşük Dereceli Adaptasyon) ve daha geniş bir aile olan parametre-verimli ince ayar (PEFT) yöntemleri, büyük önceden eğitilmiş dil modellerini, modeldeki her ağırlık yerine yalnızca az sayıda ek parametre eğiterek yeni görevlere uyarlar. Bu, orijinal modeli büyük ölçüde dokunulmadan bırakırken, çok daha az GPU belleği ve hesaplama ile ince ayar yapmayı mümkün kılar.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Büyük bir önceden eğitilmiş dil modelini belirli bir metin sınıflandırma veya tahmin görevine uyarlamak istediğinizde, ancak tam ince ayarın bellek ve hesaplama maliyetini karşılayamadığınızda LoRA ve PEFT kullanın. Büyük bir önceden eğitilmiş modelin zaten mevcut olması, göreve özgü verilerin hazırlanması ve bir GPU önerilir. Bu yöntemler, önemli bir görev veri kümesiyle en iyi şekilde çalışır; çok küçük veri kümeleriyle (birkaç yüz örnekten az) adaptasyon aşırı uyuma (overfitting) eğilimlidir ve rastgele orman (random forest) veya gradyan artırma (gradient boosting) gibi daha basit bir model daha güvenlidir.
Güçlü yönler & sınırlılıklar
- Yalnızca küçük bir parametre kümesi eğitildiği için, tam ince ayardan önemli ölçüde daha düşük GPU belleği ve hesaplama gerektirir.
- Orijinal önceden eğitilmiş model dondurulur ve görevler arasında yeniden kullanılır, böylece tek bir temel model birçok kez özelleştirilebilir.
- Öğrenilen düşük dereceli güncelleme, ağırlıklara geri birleştirilebilir, çıkarım zamanı ek yükü oluşturmaz.
- LoRA, önek ayarlama (prefix tuning), istem ayarlama (prompt tuning) gibi bir dizi seçeneği kapsar, böylece adaptasyon en iyi çalıştığı yere yerleştirilebilir.
- Başlamak için büyük bir önceden eğitilmiş model gerektirir; bir modeli sıfırdan eğitmez.
- Bir GPU önerilir ve göreve özgü veriler önceden hazırlanmalıdır.
- Küçük görev veri kümelerinde (yaklaşık 500 örnekten az) ince ayar yeterli adaptasyon sağlamayabilir ve aşırı uyum riski taşır.
- Çok az görev verisiyle (yaklaşık 50 örnekten az) parametre-verimli ince ayar bile anlamsız hale gelir.
SSS
LoRA ve PEFT arasındaki fark nedir?
PEFT (parametre-verimli ince ayar), yalnızca az sayıda ek parametre eğiterek büyük bir modeli uyarlayan geniş yöntem ailesidir. LoRA, ağırlıklara düşük dereceli bir güncelleme eğiten belirli bir PEFT yöntemidir; önek ayarlama (prefix tuning) ve istem ayarlama (prompt tuning) aynı ailenin diğer üyeleridir.
Ne kadar veriye ihtiyacım var?
Bu yöntemler makul büyüklükte bir görev veri kümesine ihtiyaç duyar. Yaklaşık 500 örnekten az olduğunda adaptasyon yetersiz olabilir ve aşırı uyuma eğilimli olabilir; yaklaşık 50 örnekten az olduğunda ise parametre-verimli ince ayar anlamsız hale gelir — bu durumda klasik bir model daha iyi bir seçimdir.
GPU'ya ihtiyacım var mı?
Bir GPU önerilir. PEFT yöntemleri tam ince ayardan çok daha az bellek kullansa da, eklenen parametreleri büyük bir önceden eğitilmiş model üzerinde eğitmek, GPU hızlandırmasından önemli ölçüde fayda sağlar.
Güncelleme neden düşük dereceli?
Önceden eğitilmiş bir modeli yeni bir göreve uyarlamak için gereken değişiklik, genellikle her ağırlığa yoğun bir güncelleme yerine küçük, düşük dereceli bir düzeltmeyle yakalanabilir. Bunu iki küçük matrisin çarpımı olarak temsil etmek, eğitilebilir parametre sayısının — ve maliyetin — önemli ölçüde düşmesini sağlar.
Kaynaklar
- Hu, E. J. et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR. link ↗
- Lester, B. et al. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. EMNLP. DOI: 10.18653/v1/2021.emnlp-main.243 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 1). Low-Rank Adaptation and Parameter-Efficient Fine-Tuning. ScholarGate. https://scholargate.app/tr/deep-learning/lora-peft
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Üretken Çekişmeli AğDerin öğrenme↔ karşılaştır
- Rastgele OrmanMakine öğrenmesi↔ karşılaştır
- Varyasyonel Otomatik KodlayıcıDerin öğrenme↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır