Transfer Learning
Transfer Learning (Domain Adaptation and Knowledge Transfer) · Ayrıca şöyle bilinir: TL, domain adaptation, fine-tuning, pre-trained model adaptation
Transfer learning, bir modelin bir kaynak görev veya alanda eğitilerek elde edilen bilginin, farklı ancak ilişkili bir hedef görevi veya alanda öğrenmeyi iyileştirmek için yeniden kullanıldığı bir makine öğrenmesi paradigmasıdır. Özellikle hedef görev için etiketli verinin kıt olduğu durumlarda güçlüdür ve bilgisayarlı görü, doğal dil işleme ve ötesindeki çoğu modern derin öğrenme uygulamasının temelini oluşturur.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+40 tane daha
Ne zaman kullanılır
Transfer learning, hedef görev için etiketli verinin sınırlı olduğu ancak bol etiketli ilişkili bir kaynak alanın veya büyük bir önceden eğitilmiş modelin mevcut olduğu durumlarda doğru seçimdir — örneğin, alan-özgü bir metin sınıflandırıcı için BERT'i ince ayarlamak veya ImageNet önceden eğitilmiş CNN'leri tıbbi görüntülemeye uyarlamak. Güçlü bir performansa ulaşmak için gereken veri ve hesaplama miktarını önemli ölçüde azaltır. Kaynak ve hedef alanların temelden ilgisiz olduğu durumlarda kaçının, çünkü olumsuz aktarım performansı sıfırdan eğitime göre daha kötü hale getirebilir. Hedef veri kümesinin bağımsız olarak yetenekli bir model eğitecek kadar büyük olduğu durumlarda da daha az gereklidir.
Güçlü yönler & sınırlılıklar
- Kaynak temsillerini yeniden kullanarak hedef görev için etiketli veri gereksinimlerini önemli ölçüde azaltır.
- Büyük modelleri sıfırdan eğitmeye kıyasla eğitim süresini ve hesaplama maliyetini kısaltır.
- Küçük ve orta ölçekli hedef veri kümelerinde genellikle en son teknoloji performansı elde eder.
- Genel amaçlı önceden eğitilmiş modeller (örneğin, ResNet, BERT, GPT), birçok alanda güçlü başlangıç noktaları sağlar.
- Özellik çıkarma modu, GPU yoğun ince ayar olmadan bile derin temsillerin kullanılmasını sağlar.
- Kaynak ve hedef alanlar çok farklı olduğunda olumsuz aktarım meydana gelebilir ve performansı sıfırdan eğitime göre olumsuz etkileyebilir.
- Büyük önceden eğitilmiş modelleri ince ayarlamak önemli bellek gerektirir ve çok büyük modeller için önemli GPU kaynakları gerektirir.
- Modelin ne kadarının dondurulacağı ve ne kadarının ince ayarlanacağı göreve bağlıdır ve deneyim gerektirir.
- Kaynak ve hedef arasındaki alan kayması belirgin olmayabilir ve performansı sessizce düşürebilir.
- Önceden eğitilmiş modeller üzerindeki yasal ve etik kısıtlamalar (lisans, eğitim verisi yanlılığı) belirli uygulamalarda kullanımı sınırlayabilir.
SSS
Transfer learning'de özellik çıkarma ve ince ayar arasındaki fark nedir?
Özellik çıkarımında, önceden eğitilmiş modelin ağırlıkları dondurulur ve yalnızca yeni bir göreve özgü başlık eğitilir. İnce ayarda, önceden eğitilmiş ağırlıkların bir kısmı veya tamamı da hedef veriler üzerinde güncellenir — genellikle felaket unutmayı önlemek için küçük bir öğrenme oranıyla. Özellik çıkarma daha hızlıdır ve küçük veri kümelerinde aşırı uyuma daha az eğilimlidir; ince ayar genellikle yeterli hedef veri olduğunda daha iyi performans sağlar.
Transfer learning'in yardım edip etmeyeceğini veya zarar verip vermeyeceğini nasıl anlarım?
Temel soru alan benzerliğidir. Kaynak ve hedef dağılımları anlamlı bir yapı paylaşıyorsa (aynı modalite, benzer kelime dağarcığı, ilgili görsel kavramlar), aktarım neredeyse her zaman yardımcı olur. Sıfırdan bir taban çizgisi eğitin ve karşılaştırın: aktarılan model daha iyi değilse, alanlar çok farklı olabilir veya alan-özel hizalama tekniklerine ihtiyacınız olabilir.
Olumsuz aktarım nedir?
Olumsuz aktarım, kaynak alandan gelen bilginin hedef görevdeki performansa aktif olarak zarar vermesi durumunda meydana gelir — önceden eğitilmiş temsiller hedef yapıyla eşleşmez ve optimizasyonu yanıltır. En yaygın olarak kaynak ve hedef anlamsal veya istatistiksel olarak farklı olduğunda görülür. Kaynak ağırlıklara doğru düzenlileştirme (örneğin, L2-SP) veya yalnızca daha sığ katmanları kullanmak bunu azaltabilir.
İnce ayar için ne kadar hedef veriye ihtiyacım var?
Evrensel bir eşik yoktur, ancak hedef etiketli örnek sayısı onlarca ila birkaç bin olduğunda transfer learning en değerlidir. Çok az örnekle (yaklaşık 100'den az), çoğu katmanı dondurmak ve yalnızca başlığı eğitmek (özellik çıkarma) daha güvenlidir. Binlerce örnekle, daha derin ince ayar yapılabilir ve genellikle faydalıdır.
Transfer learning sadece görüntüler ve metinler için değil, tablosal veriler için de uygulanabilir mi?
Evet, ancak daha az tak-çalıştır şeklindedir. Yaklaşımlar, ilgili alanlardan büyük tablosal veri kümeleri üzerinde sinir ağlarını önceden eğitmeyi veya temel modellerden gelen gömmeleri ek özellikler olarak kullanmayı içerir. SAINT ve TabPFN gibi kütüphaneler bu yönde araştırmalar yapmaktadır. Klasik tablosal görevler için, gradyan artırma, transfer olmadan bile genellikle güçlü bir rakip olmaya devam eder.
Kaynaklar
- Pan, S. J., & Yang, Q. (2010). A Survey on Transfer Learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359. DOI: 10.1109/TKDE.2009.191 ↗
- Bengio, Y. (2012). Deep Learning of Representations for Unsupervised and Transfer Learning. In Proceedings of ICML Workshop on Unsupervised and Transfer Learning, PMLR 27, 17–36. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Transfer Learning (Domain Adaptation and Knowledge Transfer). ScholarGate. https://scholargate.app/tr/machine-learning/transfer-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Az sayıda örnekle öğrenmeMakine öğrenmesi↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır