Öz-denetimli Aktarmalı Öğrenme
Self-supervised Pre-training for Transfer Learning · Ayrıca şöyle bilinir: self-supervised pre-training, SSL-based transfer learning, representation transfer from self-supervised models, contrastive pre-training with transfer
Öz-denetimli aktarmalı öğrenme, iki güçlü paradigmayı birleştirir: bir model önce öz-denetimli öncül görevler kullanarak etiketlenmemiş verilerden zengin temsiller öğrenir, ardından bu öğrenilen temsiller, sınırlı etiketlenmiş veriye sahip bir hedef görev üzerinde aktarılır ve ince ayarlanır. Bu yaklaşım, NLP'de BERT ve bilgisayar görüşünde SimCLR ve DINO gibi dönüm noktası niteliğindeki sistemlerin temelini oluşturur ve birçok alanda etiketlenmiş veri gereksinimlerini önemli ölçüde azaltır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Hedef görev için etiketlenmiş verinin kıt olduğu ancak büyük etiketlenmemiş veri kümelerinin (metin, görüntü, ses, sensör akışları) bulunduğu durumlarda öz-denetimli aktarmalı öğrenmeyi kullanın. NLP'de (dil modellerini ince ayar yapma) ve bilgisayar görüşünde (görüntü transformer'larını veya CNN'leri ince ayar yapma) standart yaklaşımdır. Ön eğitim alanının hedef alana makul ölçüde yakın olduğu durumlarda üstünlük sağlar. Hedef görev için kolayca temin edilebilen büyük, tamamen etiketlenmiş bir veri kümesi olduğunda — sıfırdan denetimli eğitim veya denetimli aktarmalı öğrenme o zaman daha basit ve eşit derecede etkili olabilir — bundan kaçının. Ayrıca, ön eğitim büyük modelleri pahalı olduğu için hesaplama bütçeleri çok kısıtlıysa bundan kaçının.
Güçlü yönler & sınırlılıklar
- Hedef görevlerde güçlü performansa ulaşmak için gereken etiketlenmiş veri miktarını önemli ölçüde azaltır.
- Önceden eğitilmiş kodlayıcılar birçok görevde genelleme yapar, bu da ön eğitime yapılan yatırımın yeniden kullanılabilir olmasını sağlar.
- NLP, görüntü, ses ve çok modlu kıyaslamalarda en son teknoloji performansı.
- Ön eğitim aşaması için tamamen etiketlenmemiş verilerle çalışır, bu da ölçekte toplamak için ucuzdur.
- İnce ayar, tam ön eğitime kıyasla hızlı ve hesaplama açısından hafiftir.
- Temsiller sağlamdır ve genellikle el yapımı özelliklerin kaçırdığı yapıyı yakalarlar.
- Büyük modellerin ön eğitimi önemli miktarda hesaplama, bellek ve enerji gerektirir; bu maliyet genellikle bir kez karşılanır ve paylaşılır.
- Performans, ön eğitim alanı ile hedef alan arasındaki hizalamaya bağlıdır — bir uyumsuzluk zayıf aktarıma neden olabilir.
- Büyük önceden eğitilmiş modeller opakdır; öğrenilen temsillerin ne olduğunu anlamak önemsiz değildir.
- İnce ayar öğrenme oranları çok yüksekse, önceden eğitilmiş bilginin felaket unutulması meydana gelebilir.
- Doğru öncül görev ve artırma stratejisini seçmek alan bilgisi ve deneyim gerektirir.
SSS
Öz-denetimli aktarmalı öğrenme ile standart denetimli aktarmalı öğrenme arasındaki fark nedir?
Standart aktarmalı öğrenmede, kaynak model büyük bir veri kümesi üzerinde insan tarafından sağlanan etiketlerle eğitilir (örneğin, ImageNet denetimli sınıflandırma). Öz-denetimli aktarmalı öğrenmede, kaynak model verinin kendisinden otomatik olarak türetilen etiketler kullanılarak eğitilir — maskelenmiş belirteçler veya karşıtlık çiftleri gibi — bu nedenle ön eğitim veri kümesinin manuel olarak etiketlenmesine gerek yoktur.
Modeli kendim önceden eğitmem gerekir mi?
Genellikle hayır. Büyük önceden eğitilmiş kontrol noktaları (BERT, GPT-2, ViT, vb.) kamuya açık olarak mevcuttur ve zaten zengin temsiller kodlamaktadır. Genellikle bir kontrol noktasını indirir ve etiketlenmiş verileriniz üzerinde ince ayar yaparsınız. Sıfırdan ön eğitim yalnızca, mevcut önceden eğitilmiş modelin bulunmadığı çok özel bir alanda çalışırken gereklidir.
İnce ayar için ne kadar etiketlenmiş veriye ihtiyacım var?
Bu, alana ve modele göre değişir, ancak öz-denetimli aktarmalı öğrenmenin temel avantajlarından biri, şaşırtıcı derecede az etiketin genellikle yeterli olmasıdır — özellikle ön eğitim alanı hedef görevle yakından eşleştiğinde, bazen yüz ila birkaç bin örnek —
Aktarım ne zaman başarısız olur?
Ön eğitim alanı hedef alandan çok farklı olduğunda (örneğin, genel bir dil modelinin ara alana uyarlanabilir ön eğitim olmadan yüksek derecede teknik klinik notlara aktarılması), hedef veri kümesi son derece küçük olduğunda ve ince ayar aşırı uyduğunda veya ince ayar hiperparametreleri — özellikle öğrenme oranı — kötü seçildiğinde aktarım bozulur.
Öz-denetimli aktarmalı öğrenme, az örnekli öğrenme ile ilgili midir?
Evet. Öz-denetimli ön eğitim, az örnekli öğrenmenin en güçlü destekleyicilerinden biridir: önceden eğitilmiş kodlayıcının temsilleri o kadar geneldir ki, doğrusal bir sınıflandırıcı veya bir komut istemi çok az etiketlenmiş örnekle iyi performans gösterebilir. GPT-3 gibi modeller, büyük ölçüde öz-denetimli ön eğitimlerinin zenginliği sayesinde az örnekli performans elde eder.
Kaynaklar
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations. In Proceedings of the 37th International Conference on Machine Learning (ICML), PMLR 119, 1597–1607. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT 2019, 4171–4186. Association for Computational Linguistics. DOI: 10.18653/v1/N19-1423 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Pre-training for Transfer Learning. ScholarGate. https://scholargate.app/tr/machine-learning/self-supervised-transfer-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Az sayıda örnekle öğrenmeMakine öğrenmesi↔ karşılaştır
- Ölçüm ÖğrenmesiMakine öğrenmesi↔ karşılaştır
- Öz-denetimli Az Örnekli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır