Öz-Denetimli Evrişimsel Sinir Ağı
Self-Supervised Convolutional Neural Network · Ayrıca şöyle bilinir: Self-supervised CNN, SSL-CNN, contrastive CNN, pretext-task CNN
Bir öz-denetimli evrişimsel sinir ağı (CNN), etiketlenmemiş görüntülerden güçlü görsel temsiller öğrenir; bu, karşıt örnek ayrımcılığı veya maskelenmiş yama tahmini gibi ön görevleri çözerek ve ardından küçük bir etiketli küme üzerinde ince ayar yaparak gerçekleştirilir. Bu yaklaşım, evrişimsel mimarilerin uzamsal özellik çıkarma gücünü korurken, büyük etiketlenmiş veri kümelerine olan bağımlılığı önemli ölçüde azaltır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Etiketlenmemiş görüntülerden oluşan büyük bir havuzunuz olduğunda ancak yalnızca küçük bir etiketli alt kümeniz olduğunda öz-denetimli bir CNN kullanın – bu, tıbbi görüntüleme, uydu görüntüleme ve özel endüstriyel denetimlerde yaygın bir durumdur. Ayrıca, tek bir ön eğitim çalıştırmasından birden fazla aşağı akış görevi için genel amaçlı bir görsel omurga oluştururken tercih edilen yöntemdir. Hedef veri kümesinin tamamı küçükse (toplam birkaç yüz görüntü) ve etiketlenmişse bundan kaçının, çünkü ImageNet'ten önceden eğitilmiş bir omurganın standart denetimli ince ayarı daha basittir ve genellikle eşit derecede etkilidir. Etiketlenmemiş veriler, aşağı akış görevi alanından önemli ölçüde farklı bir dağılıma sahipse bunu seçmeyin, çünkü öğrenilen temsiller aktarılmayabilir.
Güçlü yönler & sınırlılıklar
- Büyük etiketlenmemiş veri kümelerinden zengin görsel temsiller öğrenir, ek açıklama gereksinimlerini önemli ölçüde azaltır.
- Sınıflandırma, tespit ve segmentasyon gibi çeşitli aşağı akış görevlerine etkili bir şekilde aktarılır.
- Mimari değişiklikler olmadan mevcut CNN mimarileriyle (ResNet, EfficientNet) doğal olarak birleşir.
- Karşıt ön eğitim, artırma tabanlı öz-denetime dayandığı için etiket gürültüsüne karşı dayanıklıdır.
- Ön eğitim tek seferlik bir maliyettir; omurga birçok etiketli görev için yeniden kullanılabilir.
- Etiketlenmiş verilerin kıt olduğu durumlarda genellikle tam denetimli performansa ulaşır veya onu geçer.
- Ön eğitim, önemli miktarda hesaplama ve büyük toplu işler gerektirir (SimCLR, kararlı eğitim için binlerce negatife ihtiyaç duyar).
- Artırma stratejisi alana duyarlıdır: doğal görüntüler için tasarlanan artırmalar, tıbbi veya uydu verilerindeki performansı olumsuz etkileyebilir.
- Temsil kalitesi, etiketlenmemiş verilerin çeşitliliğine ve hacmine bağlıdır; küçük veya homojen etiketlenmemiş kümeler kazanımları sınırlar.
- Aşağı akış ince ayarı hala bazı etiketli örneklere ihtiyaç duyar; standart SSL-CNN'lerle genellikle sıfır-görsel kullanım mümkün değildir.
- Momentum kodlayıcıları (MoCo) veya bellek bankaları eklemek ek hiperparametreler ve mühendislik karmaşıklığı getirir.
SSS
Öz-denetimli CNN ön eğitimi için ne kadar etiketlenmemiş veriye ihtiyaç vardır?
Faydalar genellikle etiketlenmemiş havuzun etiketli kümeden en az bir büyüklük mertebesi daha büyük olduğu durumlarda ortaya çıkar. Çok küçük etiketlenmemiş kümelerle (yüzlerce görüntü), ImageNet'ten önceden eğitilmiş bir modelden standart aktarım öğrenmesi genellikle daha pratiktir.
SimCLR ve MoCo arasındaki fark nedir?
Her ikisi de CNN kodlayıcıları kullanan karşıt öz-denetimli yöntemlerdir. SimCLR, bir topludaki tüm örneklerin negatif olarak hizmet etmesi için büyük toplu işler kullanır, bu da önemli GPU belleği gerektirir. MoCo, momentum güncellenmiş bir kodlayıcı ve geçmiş gömmelerin bir bellek kuyruğunu korur, bu da daha küçük toplu işlerle kararlı eğitime olanak tanır.
Standart ImageNet olanlar yerine alana özgü artırmalar kullanabilir miyim?
Evet ve bu genellikle esastır. Örneğin, gri tonlamalı tıbbi görüntüler için, renk titremesini yoğunluk kaymaları veya elastik deformasyonlarla değiştirmek, öğrenilen temsilleri önemli ölçüde iyileştirebilir. Ön görev, alanınızda anlamlı olan değişmezlikleri yansıtmalıdır.
Ön eğitimden sonra CNN omurgasını dondurmalı mıyım yoksa uçtan uca ince ayar mı yapmalıyım?
Doğrusal sonda (dondurulmuş omurga), temsil kalitesini değerlendirmek için bir tanısal adımdır. Aşağı akış görevi performansı için, özellikle etiketlenmiş veriler yeterliyse, CNN katmanlarında küçük bir öğrenme oranıyla uçtan uca ince ayar yapmak, dondurulmuş bir omurgadan neredeyse her zaman daha iyi performans gösterir.
Zaten bir ImageNet önceden eğitilmiş omurgam varsa, öz-denetimli CNN ön eğitimi mantıklı mı?
Hedef alanınız ImageNet'ten önemli ölçüde farklıysa (örneğin, tıbbi veya uydu verileri) ve alana özgü büyük etiketlenmemiş verilere erişiminiz varsa, yapabilir. Alan içi etiketlenmemiş veriler üzerinde öz-denetimli ön eğitim, bu gibi durumlarda genel ImageNet ağırlıklarından daha iyi temsiller sağlar.
Kaynaklar
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. In Proceedings of the 37th International Conference on Machine Learning (ICML 2020), PMLR 119, 1597–1607. link ↗
- He, K., Fan, H., Wu, Y., Xie, S., & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2020), 9729–9738. DOI: 10.1109/CVPR42600.2020.00975 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-Supervised Convolutional Neural Network. ScholarGate. https://scholargate.app/tr/deep-learning/self-supervised-convolutional-neural-network
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- İnce Ayarlı Evrişimsel Sinir AğıDerin öğrenme↔ karşılaştır
- Öz-denetimli TransformerDerin öğrenme↔ karşılaştır
- Öz-denetimli Görsel TransformerDerin öğrenme↔ karşılaştır
- Evrişimli Sinir Ağı ile Transfer ÖğrenmeDerin öğrenme↔ karşılaştır