Öz-denetimli Anlamsal Bölütleme
Self-supervised Learning for Semantic Segmentation · Ayrıca şöyle bilinir: SSL semantic segmentation, unsupervised semantic segmentation, label-free semantic segmentation, self-supervised dense prediction
Öz-denetimli anlamsal bölütleme, manuel olarak etiketlenmiş bölütleme maskelerine dayanmadan, bir görüntünün her pikseline bir sınıf etiketi atamayı öğrenir. Bir omurga ağı önce karşıtsal öğrenme veya maskelenmiş görüntü modellemesi gibi öz-denetimli hedefler kullanılarak büyük miktarda etiketsiz görüntü üzerinde eğitilir ve ardından elde edilen yoğun özellikler, görüntü bölgelerini bölmek ve etiketlemek için kullanılır, bu da etiketleme maliyetinin çok altında rekabetçi bölütleme kalitesi elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Piksel düzeyinde etiketlemenin aşırı derecede pahalı, mevcut olmadığı veya etik olarak kısıtlandığı durumlarda — tıbbi görüntüleme, uzaktan algılama, endüstriyel denetim ve nadir alan veri kümelerinde yaygın durumlar — öz-denetimli anlamsal bölütlemeyi kullanın. Özellikle hedef alanda büyük miktarda etiketsiz görüntü mevcut olduğunda etkilidir. Yoğun etiketlerin zaten mevcut olduğu ve maksimum doğruluğun gerekli olduğu durumlarda tam denetimli bölütlemenin yerine doğrudan bir değiştirme olarak kullanmayın; etiketler bol olduğunda denetimli veya yarı denetimli yöntemler genellikle bunu geride bırakacaktır. Ayrıca, anlamsal kategorilerin sayısı çok büyük olduğunda veya ince taneli sınır hassasiyetinin en önemli olduğu durumlarda, denetimsiz küme-sınıf ataması görsel olarak benzer kategorileri karıştırabileceğinden kaçının.
Güçlü yönler & sınırlılıklar
- Pahalı piksel düzeyinde etiketlemeye olan ihtiyacı önemli ölçüde azaltır veya ortadan kaldırır.
- Önceden eğitilmiş omurgalar, tıbbi görüntüleme ve uydu görüntüleri dahil olmak üzere alanlar arasında iyi aktarılır.
- Öz-denetimli özellikler (özellikle DINO/ViT modellerinden) zaten anlamsal yapıyı kodlar, bu da aşağı akış bölütlemesini daha örnek-verimli hale getirir.
- Etiketsiz verilerle ölçeklenir, web ölçeğinde görüntü koleksiyonlarının etiketleme çabası olmadan kullanılmasını sağlar.
- Doğrusal prob protokolleri, minimum etiketli veriyle temsil kalitesinin hızlı bir şekilde değerlendirilmesine olanak tanır.
- Tamamen denetimsiz doğruluk, standart kıyaslamalarda tam denetimli bölütlemenin oldukça altında kalmaktadır.
- Anlamsal küme sayısı genellikle önceden belirtilmelidir; yanlış belirtme kaliteyi bozar.
- Küme-sınıf ataması önemsiz değildir ve görsel olarak benzer ancak anlamsal olarak farklı kategorileri karıştırabilir.
- Büyük ViT omurgalarını önceden eğitmek önemli hesaplama ve GPU belleği gerektirir.
- İnce taneli sınır çizimi, açık maske denetimiyle eğitilmiş denetimli modellere göre hala daha zordur.
SSS
Standart anlamsal bölütlemeden nasıl farklıdır?
Standart anlamsal bölütleme, denetimli eğitim için tam etiketli piksel haritaları kullanır. Öz-denetimli anlamsal bölütleme, önce etiketsiz görüntülerden temsiller öğrenir, ardından kümeleme veya minimum etiketleri kullanarak anlamsal sınıfları atar, bu da etiketleme gereksinimlerini büyük ölçüde azaltır.
Hiç etikete ihtiyacım var mı?
Tamamen denetimsiz varyantta etikete gerek yoktur — küme kimlikleri değerlendirme zamanında Macar ataması yoluyla sınıflarla eşleştirilir. Doğrusal prob varyantında, küçük bir etiketli küme (genellikle birkaç yüz görüntü) donmuş özellikler üzerinde hafif bir başlık eğitir. Her iki durumda da yoğun piksel etiketlerine gerek yoktur.
Hangi omurga en iyi performansı gösterir?
DINO veya benzeri hedeflerle önceden eğitilmiş Görsel Transformer'lar, dikkat haritaları doğal olarak anlamsal bölgelerle hizalandığı için şu anda bölütleme için en zengin yoğun özellikleri üretir. CNN tabanlı omurgalar (örneğin, MoCo/SimCLR ön eğitimiyle ResNet) da çalışır ancak tipik olarak daha düşük denetimsiz mIoU üretir.
Performans adil bir şekilde nasıl ölçülür?
Ortalama Birleşme Üzeri (mIoU) kullanın. Tamamen denetimsiz değerlendirme için, mIoU hesaplanmadan önce tahmin edilen küme kimliklerini gerçek sınıflarla hizalamak üzere Macar eşleştirmesi uygulayın. Etiketleme bütçesi farkını belirtmeden doğrudan denetimli taban çizgileriyle karşılaştırmak yanıltıcıdır.
Ne zaman yarı denetimliyi tam öz-denetimli bölütlemeye tercih etmeliyim?
Küçük sayıda etiketli görüntü (onlarca ila yüzlerce) bile elde edilebilirse, yarı denetimli veya az örnekli yaklaşımlar (doğrusal prob + sözde etiketler) genellikle tamamen denetimsiz kümelemeden anlamlı bir farkla daha iyi performans gösterir ve mütevazı etiketleme çabasına değer.
Kaynaklar
- Caron, M., Touvron, H., Misra, I., Jegou, H., Mairal, J., Bojanowski, P., & Joulin, A. (2021). Emerging Properties in Self-Supervised Vision Transformers. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 9650–9660. DOI: 10.1109/ICCV48922.2021.00951 ↗
- Hamilton, M., Zhang, Z., Hariharan, B., Snavely, N., & Freeman, W. T. (2022). Unsupervised Semantic Segmentation by Distilling Feature Correspondences. International Conference on Learning Representations (ICLR). link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Learning for Semantic Segmentation. ScholarGate. https://scholargate.app/tr/deep-learning/self-supervised-semantic-segmentation
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Örnek BölütlemeDerin öğrenme↔ karşılaştır
- Öz-Denetimli Evrişimsel Sinir AğıDerin öğrenme↔ karşılaştır
- Öz-denetimli Görsel TransformerDerin öğrenme↔ karşılaştır
- Semantik SegmentasyonDerin öğrenme↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır