Öz-denetimli Yayılım Modeli
Self-supervised Diffusion Model (Denoising Diffusion with Self-supervised Representation Learning) · Ayrıca şöyle bilinir: SSDM, self-supervised score-based model, diffusion-based self-supervised learning, denoising diffusion with self-supervised pretraining
Bir öz-denetimli yayılım modeli, dengeleyici yayılım olasılıksal modellerinin yinelemeli gürültü-ve-gürültü giderme üretici sürecini, öz-denetimli bir temsil öğrenme hedefiyle — örneğin zıtlaştırmalı veya maskelenmiş tahmin kaybı — birleştirir, böylece model eş zamanlı olarak gerçekçi veri üretmeyi ve etiketlenmiş örnekler olmadan anlamsal olarak anlamlı temsiller üretmeyi öğrenir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Büyük miktarda etiketsiz görüntü, ses veya sıralı veriniz olduğunda ve ya (1) az etiketle sonraki görevler için zengin aktarılabilir temsiller önceden eğitmek istediğinizde ya da (2) erişim ve kümeleme için anlamsal olarak tutarlı gizli kodlar üreten bir üretici modele ihtiyaç duyduğunuzda öz-denetimli bir yayılım modeli kullanın. Özellikle tıbbi görüntüleme, uzaktan algılama ve etiketlemenin maliyetli olduğu bilimsel alanlarda değerlidir. Bol miktarda etiketlenmiş veriniz olduğunda ve denetimli bir modeli doğrudan ince ayarlayabildiğinizde, hesaplama bütçeleri çok sınırlı olduğunda (yayılım eğitimi pahalıdır) veya hızlı tek adımlı bir üretici modele ihtiyaç duyduğunuzda bundan kaçının — o zaman normalleştirici akışlar veya GAN'lar tercih edilebilir.
Güçlü yönler & sınırlılıklar
- Eş zamanlı olarak etiketsiz temsiller öğrenirken yüksek kaliteli, çeşitli üretici örnekler üretir.
- Öz-denetimli hedef, büyük etiketlenmiş veri kümelerine olan bağımlılığı ortadan kaldırır, bu da onu veri kıtlığı rejimlerinde güçlü kılar.
- Gürültü giderme omurgası, doğrusal sondalama veya ince ayarlama yoluyla sonraki görevlere iyi aktarılır.
- GAN'lardan daha kararlı eğitim — mod çökmesi yok, düşmanca minimax kararsızlığı yok.
- Esnek koşullandırma: aynı çerçeve sınıf koşullu, metin koşullu ve koşulsuz üretimi destekler.
- Eğitim hesaplama açısından pahalıdır; büyük ölçekli çalıştırmalar GPU kümeleri ve çok sayıda GPU saati gerektirir.
- Çıkarım, birçok yinelemeli gürültü giderme adımı gerektirdiği için tek geçişli üreticilere kıyasla yavaştır.
- Gürültü giderme kaybı ağırlığı ile öz-denetimli kayıp ağırlığını dengelemek dikkatli ayarlama gerektirir.
- Öğrenilen temsillerin kalitesi, özellik çıkarma için kullanılan artırım stratejisi ve zaman adımı aralığı seçimine duyarlı olabilir.
SSS
Öz-denetimli bir yayılım modeli standart bir yayılım modelinden nasıl farklıdır?
Standart bir yayılım modeli yalnızca gürültü giderme hedefiyle eğitilir ve yalnızca üretim kalitesi için optimize edilir. Öz-denetimli bir yayılım modeli, ara temsillerin anlamsal olarak yapılandırılmış ve sonraki ayırt edici görevlere aktarılabilir olması için aynı omurgaya yardımcı bir öz-denetimli kayıp — zıtlaştırmalı, maskelenmiş tahmin veya tutarlılık — ekler, herhangi bir etikete ihtiyaç duymadan.
Özellik çıkarma için hangi zaman adımını kullanmalıyım?
Ampirik olarak, ara zaman adımları (kabaca T'nin %20–50'si aralığında t) en zengin anlamsal içeriği taşıma eğilimindedir. Çok erken zaman adımları neredeyse temizdir ve çoğunlukla düşük seviyeli ayrıntıları kodlar; çok geç zaman adımları neredeyse saf gürültüdür. Optimal zaman adımı alana bağlıdır ve küçük bir doğrulama kümesi üzerinde doğrusal sonda doğruluğu aracılığıyla seçilmelidir.
Gürültü giderme kaybı ile öz-denetimli kaybı nasıl dengelerim?
Yaygın bir strateji, öz-denetimli kayıp ağırlığını gürültü giderme kaybı ağırlığının küçük bir kesri (örneğin, %0.1–0.5) olarak ayarlamak ve hem üretim kalitesini (FID) hem de temsil kalitesini (doğrusal sonda doğruluğu) doğrulamaktır. Üretim güçlü bir şekilde bozulursa, öz-denetimli ağırlığı azaltın; sonraki performans zayıfsa, artırın.
Bunu metin veya tablo verilerine uygulayabilir miyim?
Evet, yayınlanmış çalışmaların çoğu görüntülere ve seslere odaklanmış olsa da. Ayrık yayılım varyantları (örneğin, D3PM), metin için öz-denetimli maskelenmiş dil modellemeyi içerebilir. Tablo verileri için çerçeve daha az yerleşiktir ve SCARF veya maskelenmiş otomatik kodlayıcılar gibi daha basit öz-denetimli yöntemler daha pratik olabilir.
Öz-denetimli yayılım, temsil öğrenimi için SimCLR gibi zıtlaştırmalı yöntemlerle rekabetçi mi?
Görüntü kıyaslamalarında, yakın zamanda yapılan öz-denetimli yayılım modelleri, ek olarak bir üretici yetenek sağlarken, doğrusal sonda doğruluğunda zıtlaştırmalı taban çizgilerine yaklaşır veya onlarla eşleşir. Ancak, MoCo ve SimCLR gibi zıtlaştırmalı yöntemler tipik olarak daha hızlı eğitilir ve yalnızca temsil öğrenimi hedefi için daha az hesaplama gerektirir.
Kaynaklar
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS), 33, 6840–6851. link ↗
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), 119, 1597–1607. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Diffusion Model (Denoising Diffusion with Self-supervised Representation Learning). ScholarGate. https://scholargate.app/tr/deep-learning/self-supervised-diffusion-model
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Üretken Çekişmeli AğDerin öğrenme↔ karşılaştır
- Varyasyonel Otomatik KodlayıcıDerin öğrenme↔ karşılaştır