Self-supervised Instance Segmentation (Label-free Object Mask Learning)
Ayrıca şöyle bilinir: SSIS, unsupervised instance segmentation, label-free instance segmentation, self-supervised mask prediction
Geleneksel örnek bölütleme, binlerce el çizimi nesne maskesi gerektirir — bu pahalı ve zaman alıcı bir darboğazdır. Öz-denetimli yaklaşımlar, önce bir ağı etiketsiz görüntülerden zengin görsel temsiller üretmesi için eğiten (kontrastlı veya öz-damıtma hedefleri aracılığıyla), ardından bu temsillerden kaba nesne önerileri üretmek için yararlanan bir yöntemle bu durumdan kaçınır. Bu öneriler, sözde etiketler olarak iteratif olarak iyileştirilir ve ağın tek bir insan etiketlemesi olmadan yetkin bir bölütleyici olarak kendini eğitmesine olanak tanır. Temel fikir, iyi öğrenilmiş öz-denetimli özelliklerin zaten nesne sınırlarını örtük olarak kodladığıdır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Pahalı piksel düzeyinde etiketleme ihtiyacını ortadan kaldırır veya büyük ölçüde azaltır.
Güçlü yönler & sınırlılıklar
- Önceden eğitilmiş omurgalar alanlar arasında iyi aktarılır, bu da yeni görüntü dağılımlarına güçlü genelleme sağlar.
- Öz-eğitim döngüleri, modelin kendi tahminlerini denetim olarak kullanarak iteratif olarak iyileşmesine izin verir.
- Aksi takdirde bölütleme için kullanılamayacak büyük etiketsiz veri kümeleriyle uyumludur.
- DINO tarzı dikkat haritaları genellikle nesne sınırlarını çarpıcı uzamsal kesinlikle vurgular ve güçlü bir başlangıç sağlar.
- Bol etiketlenmiş veri mevcut olduğunda performans hala tam denetimli yöntemlerin gerisinde kalır.
- Sözde etiket gürültüsü, öz-eğitim iterasyonları boyunca birikebilir ve nihai maske kalitesine zarar verebilir.
- Büyük omurgaları önceden eğitmek önemli hesaplama ve GPU belleği gerektirir.
- Nesne öneri kalitesi, şiddetli örtülme, alışılmadık bakış açıları veya dağınık arka planlara sahip sahnelerde bozulur.
- Hiperparametre hassasiyeti: sözde etiket güven eşikleri ve ön eğitim programı sonucu güçlü bir şekilde etkiler.
- Çok farklı bir alanda (örneğin, doğal görüntülerden tıbbi taramalara) önceden eğitilmiş bir omurga kullanmak, alan özel ince ayar yapmadan, bu da zayıf başlangıç önerileriyle sonuçlanır.
SSS
Her ikisi de manuel etiketlerden kaçınır, ancak öz-denetimli yöntemler bölütlemeden önce zengin özellik temsilleri oluşturmak için öncelik görevlerinden (kontrastlı öğrenme, öz-damıtma) yararlanırken, tamamen denetimsiz yöntemler genellikle klasik kümeleme veya enerji minimizasyonuna dayanır. Öz-denetimli yaklaşımlar daha keskin, anlamsal olarak tutarlı örnek maskeleri üretir.
Sıfırdan önceden eğitmeye yerine hazır bir DINO kontrol noktasıyla başlayabilir miyim?
Evet. ImageNet üzerinde eğitilmiş kamuya açık DINO, DINO-v2 veya MAE kontrol noktaları güçlü başlangıçlar sağlar. Bu kontrol noktalarından ince ayar yapmak veya doğrudan maske önerileri çıkarmak, hesap gereksinimlerini önemli ölçüde azaltır ve genellikle alan içi görüntüler için iyi sözde etiketler üretir.
Tipik olarak kaç tane öz-eğitim iterasyonu gereklidir?
Yayınlanan hatların çoğu 2–4 iterasyon sözde etiket üretimi ve yeniden eğitim rapor eder. Kazançlar hızla platoya ulaşır ve gürültülü sözde etiketler birikirse tersine dönebilir, bu nedenle en iyi iterasyonu seçmek için küçük bir etiketlenmiş doğrulama kümesini (hatta 50–200 görüntü) izlemek önerilir.
Hangi değerlendirme metriğini kullanmalıyım?
Hem tespit doğruluğunu hem de maske kalitesini yakalayan, IoU eşik değerleri 0.5 ve 0.5:0.95 (COCO tarzı) düzeyinde örnek bölütleme Ortalama Hassasiyetini (AP) bildirin. Yalnızca piksel düzeyinde mIoU'ya güvenmeyin, bu örnekler arasındaki farklılıkları gizler.
Öz-denetimli örnek bölütleme çok küçük nesneler için uygun mudur?
Küçük nesneler hala zorludur: dikkat tabanlı serbest maske üretimi genellikle yakındaki küçük nesneleri birleştirir veya tamamen kaçırır. Öz-denetimli ön eğitimi, çok ölçekli özellik piramitleri (FPN) ve özel küçük nesne öneri başlıklarıyla birleştirmek geri çağırmayı iyileştirir, ancak denetimli yaklaşımlar küçük nesne kıyaslamaları için hala avantajlıdır.
Etiketsiz görüntü koleksiyonunuzu MethodMind'a yükleyin, önceden eğitilmiş bir omurga seçin (DINO ViT-S veya ViT-B önerilir), serbest maske üretim adımını çalıştırın ve sözde etiket kalitesini izlerken öz-eğitim turları arasında yineleyin — tüm bunları tek bir bölütleme etiketi sağlamadan yapın.
Kaynaklar
- Wang, X., Zhu, Z., Cao, G., Yao, Z., Jiang, Z., & Ye, J. (2022). FreeSOLO: Learning to Segment Objects without Annotations. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 14176–14186. link ↗
- Caron, M., Touvron, H., Misra, I., Jégou, H., Mairal, J., Bojanowski, P., & Joulin, A. (2021). Emerging Properties in Self-Supervised Vision Transformers. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 9650–9660. DOI: 10.1109/ICCV48922.2021.00951 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Instance Segmentation (Label-free Object Mask Learning). ScholarGate. https://scholargate.app/tr/deep-learning/self-supervised-instance-segmentation
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Örnek BölütlemeDerin öğrenme↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Semantik SegmentasyonDerin öğrenme↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır