Zayıf Denetimli Görsel Dönüştürücü
Weakly Supervised Vision Transformer (WS-ViT) · Ayrıca şöyle bilinir: WS-ViT, weakly supervised ViT, weak supervision with vision transformer, ViT with weak labels
Zayıf Denetimli Görsel Dönüştürücü (WS-ViT), kesin piksel düzeyinde açıklamalardan yoksun görüntü verileri üzerinde, bunun yerine görüntü düzeyinde sınıf etiketleri, sınırlayıcı kutular veya web'den kazınmış metin gibi daha ucuz, daha gürültülü denetim kullanan bir Görsel Dönüştürücü eğitiyor. Dönüştürücünün küresel öz-dikkat mekanizması, nesneleri konumlandırma ve bu eksik etiketlerden ayırt edici özellikler öğrenme konusunda özellikle yetenekli olmasını sağlıyor.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Büyük bir görüntü veri kümeniz olduğunda ancak yoğun piksel başına veya hatta örnek başına etiketleme elde etmek aşırı derecede pahalı olduğunda WS-ViT'yi kullanın — örneğin tıbbi görüntülemede (patoloji slaytları, radyoloji), uzaktan algılamada veya büyük ölçekli web'den kazınmış veri kümelerinde. Görüntü sınıflandırma, zayıf denetimli nesne konumlandırma ve görüntü düzeyinde etiketlerden tohumlanan segmentasyon için uygundur. Kesin uzamsal maskeler mevcut olduğunda ve veri kümesi küçük olduğunda, öz-dikkat modellerinin iyi yakınsama için daha fazla veriye ihtiyaç duyması nedeniyle tam denetimli yaklaşımları tercih edin. Görüntüleriniz çok düşük çözünürlüklü ise veya model yorumlanabilirliği piksel düzeyinde katı bir düzenleyici gereksinim ise, dikkat tabanlı konumlandırma hala kesin olmayabilir.
Güçlü yönler & sınırlılıklar
- Piksel maskeleri yerine görüntü düzeyinde etiketler veya sınırlayıcı kutulardan öğrenerek etiketleme maliyetini önemli ölçüde azaltır.
- Öz-dikkat, uzun menzilli uzamsal bağımlılıkları yakalar, CNN tabanlı zayıf denetime göre daha iyi nesne konumlandırması sağlar.
- Büyük önceden eğitilmiş ViT omurgalarından doğrudan yararlanır, bu da küçük zayıf etiketlenmiş kümelerde ince ayar yaparken veri açısından verimli olmasını sağlar.
- Dikkat yayılımı ve CAM, nitel analizi destekleyen yorumlanabilir aktivasyon haritaları sağlar.
- Tıbbi görüntüleme, uzaktan algılama ve doğal görüntü veri kümeleri dahil olmak üzere çeşitli alanlarda uygulanabilir.
- Görsel Dönüştürücüler hesaplama açısından ağırdır; sıfırdan eğitim, önemli GPU kaynakları ve büyük veri kümeleri gerektirir.
- Zayıf etiketler, uygun kayıp fonksiyonları ile dikkatli bir şekilde ele alınmazsa modeli sistematik olarak yanlı hale getirebilecek gürültü ekler.
- Yalnızca görüntü düzeyinde denetimden elde edilen konumlandırma doğruluğu, tam denetimli segmentasyon modellerinden hala daha düşüktür.
- Gürültüye dayanıklı olmayan kayıp fonksiyonlarının dikkatli seçimi gereklidir; farklı etiket türleri farklı kayıp tasarımları gerektirir.
- Dikkat tabanlı konumlandırma, küçük veya örtüşen nesneler için dağınık ve güvenilmez olabilir.
SSS
ViT'yi zayıf denetimli öğrenme için CNN'den daha iyi yapan nedir?
ViT'deki öz-dikkat, her görüntü yamasının diğer her yama ile doğrudan etkileşim kurmasını sağlar, böylece model ayırt edici bölgeleri küresel olarak konumlandırabilir — yalnızca evrişimlerin yaptığı gibi yerel komşuluklarda değil. Bu küresel alıcı alan, dikkat tabanlı CAM'yi, piksel düzeyinde denetim olmadığında avantajlı olan CNN'lerden gelen gradyan ağırlıklı CAM'den daha keskin ve anlamsal olarak daha anlamlı hale getirir.
Ne tür zayıf etiketler kullanılabilir?
Yaygın biçimler arasında görüntü düzeyinde sınıf etiketleri (en ucuz), sınırlayıcı kutular, nokta açıklamaları, karalamalar ve bir öğretmen ağı veya daha güçlü bir model tarafından oluşturulan sözde etiketler bulunur. Her tür, farklı bir kayıp formülasyonu gerektirir: görüntü düzeyinde etiketler sınıf aktivasyon eşlemesiyle, sınırlayıcı kutular kısmi çapraz entropi veya sıkılık önceliğiyle ve sözde etiketler tutarlılık düzenlileştirmesi veya gürültü geçiş modellemesiyle eşleşir.
Ne kadar veriye ihtiyaç var?
Büyük bir önceden eğitilmiş ViT'den (örneğin, ImageNet-21k üzerinde önceden eğitilmiş ViT-B/16 veya DINO/CLIP aracılığıyla) başlayarak, birkaç bin zayıf etiketlenmiş görüntü ile kullanışlı performans elde edilebilir. Sıfırdan eğitim genellikle yüz binlerce görüntü gerektirir çünkü dönüştürücülerin parametreleri daha fazladır ve CNN'lerden daha az yerleşik endüktif yanlılığı vardır.
Konumlandırma çıktısı klinik kullanım için yeterince güvenilir mi?
Ek doğrulama olmadan değil. Klinik sonuçlar çıkarmadan önce dikkat tabanlı konumlandırma haritaları, tutulan bir kümedeki uzman açıklamalarıyla karşılaştırılmalıdır. Düzenleyici veya güvenlik açısından kritik bağlamlar için, zayıf denetimli konumlandırma genellikle kesin bir uzamsal teşhis yerine bir tarama veya önceliklendirme aracı olarak kullanılır.
Çoklu örnek öğrenme (MIL) WS-ViT ile nasıl ilişkilidir?
MIL, bir örnek torbasının (yamalar) tek bir torba düzeyinde etiket aldığı klasik bir zayıf denetim çerçevesidir. WS-ViT, dönüştürücünün yama düzeyindeki bilgileri dikkat yoluyla topladığı, öğrenilmiş öz-dikkat havuzlama ile el ile tasarlanmış torba toplama fonksiyonlarını değiştirdiği bir MIL mimarisi olarak görülebilir ve genellikle görüntü görevlerinde geleneksel MIL'den daha güçlü performans verir.
Kaynaklar
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. In International Conference on Learning Representations (ICLR). link ↗
- Zhou, Z.-H. (2022). A brief introduction to weakly supervised learning. National Science Review, 5(1), 44–53. DOI: 10.1093/nsr/nwx106 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Weakly Supervised Vision Transformer (WS-ViT). ScholarGate. https://scholargate.app/tr/deep-learning/weakly-supervised-vision-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bilgi DamıtmaDerin öğrenme↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır