Yarı denetimli Yayılım Modeli
Semi-supervised Diffusion Model for Generative Learning with Partial Labels · Ayrıca şöyle bilinir: Semi-supervised DDPM, Label-guided diffusion model, Semi-supervised score-based generative model, SSL diffusion
Bir yarı denetimli yayılım modeli, yalnızca eğitim örneklerinin bir kısmının sınıf etiketleri taşıdığı ayarlarda, gürültü giderme yayılım olasılıksal çerçevesini genişletir. Etiketli örnekler üzerinde eğitilmiş hafif bir sınıflandırıcı ile etiketlenmemiş bir yayılım omurgasını birleştirerek, etiketlenmemiş verilerdeki yapıyı hala kullanırken yüksek kaliteli, etiket koşullu çıktılar üretmeyi öğrenir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Etiketli veri kıt ve etiketlenmemiş veri bol olduğunda - tıbbi görüntüleme, uzaktan algılama veya düşük kaynaklı NLP'de yaygın bir senaryo - yüksek kaliteli koşullu üretim (görüntüler, ses, metin gömüleri) gerektirdiğinizde yarı denetimli bir yayılım modeli kullanın. Ayrıca, hem sınıf koşullu örnekler sentezleyebilen hem de aşağı akış sınıflandırması için bir özellik çıkarıcı olarak hizmet verebilen tek bir üretken model istediğinizde uygundur. Tüm eğitim verilerinin etiketlendiği durumlarda (tam denetimli koşullu yayılım veya sınıflandırıcı daha basittir), hesaplama ciddi şekilde kısıtlıysa (çıkarım birçok gürültü giderme adımı gerektirir) veya etiketli ve etiketlenmemiş kısımları küçükse - bu durumda VAE'ler veya standart yarı denetimli sınıflandırıcılar daha pratik olma olasılığı yüksektir.
Güçlü yönler & sınırlılıklar
- Çok az etiketle koşullu üretim kalitesini artırmak için büyük etiketlenmemiş veri kümelerinden yararlanır.
- Tam denetimli üretken modellere rakip olan çeşitli, yüksek kaliteli örnekler üretir, ancak etiketleme maliyetinin çok altında.
- Gürültülü girdiler üzerinde eğitilen yardımcı sınıflandırıcı genellikle ayırt edici görevler için iyi genelleme yapar ve çift amaçlı bir model sunar.
- Modüler tasarım: kılavuz mekanizması, sıfırdan yeniden eğitime gerek kalmadan önceden eğitilmiş etiketlenmemiş bir yayılım modeline sonradan uygulanabilir.
- Zarifçe ölçeklenir — performans genellikle daha fazla etiketlenmemiş veri veya daha fazla etiketlenmiş örnek eklendikçe istikrarlı bir şekilde iyileşir.
- Çıkarım yavaştır: tek bir örnek üretmek yüzlerce ila binlerce ardışık gürültü giderme adımı gerektirir, bu da gerçek zamanlı kullanımı zorlaştırır.
- Eğitim hesaplama açısından yoğundur; büyük ölçekli deneyler çoklu GPU kurulumları ve önemli GPU-saatleri gerektirir.
- Kılavuz gücü s hassas bir hiper parametredir: çok yüksek çeşitliliği feda eder, çok düşük sınıf bağlılığını zayıflatır.
- Yalnızca temiz veriler üzerinde eğitilmiş bir sınıflandırıcıyı gürültülü girdiler üzerinde dikkatlice eğitilmelidir — temiz veriler üzerinde eğitilmiş standart sınıflandırıcılar gürültü seviyeleri arasında kötü aktarım yapar.
- Yarı denetimli hedef ve kılavuzla etkileşimi hakkındaki teorik anlayış aktif bir araştırma alanıdır.
SSS
Tipik olarak ne kadar etiketli veri gereklidir?
Sonuçlar alana ve veri kümesi boyutuna göre değişir, ancak yarı denetimli yayılım modelleri, etiketlenmemiş küme büyük ve temsili olduğunda, etiketlenmiş örneklerin yalnızca %1-10'u ile rekabetçi performans göstermiştir. Karmaşık veri kümelerinde birkaç yüz etiketli örneğin altında, kalite bozulur ve daha basit taban çizgileri düşünülmelidir.
Sınıflandırıcı güdümlü kılavuz, sınıflandırıcı güdümlü kılavuza bir alternatifi midir?
Evet. Sınıflandırıcı güdümsüz kılavuz (Ho & Salimans, 2022), eğitim sırasında etiketleri rastgele düşürerek yayılım ağının kendisini koşullu olarak bilinçli olacak şekilde eğitir, bu da ayrı bir yardımcı sınıflandırıcı ihtiyacını ortadan kaldırır. Ayarlaması genellikle daha basittir ve güçlü sonuçlar elde eder, ancak eğitim zamanında etiketler gerektirir, bu da onu açık sınıflandırıcı güdümlü kılavuzdan daha az doğal olarak yarı denetimli hale getirir.
Bu yaklaşım yalnızca görüntülere değil, metin veya sese de uygulanabilir mi?
Evet. Yayılım modelleri metin ve sesin gizli alanlarına uyarlanmıştır ve yarı denetimli kılavuz bu alanlara aktarılır. Yardımcı sınıflandırıcı, piksel alanı yerine gürültülü gizli vektörler üzerinde çalışır, ancak prensip aynıdır.
Yarı denetimli bir ortamda üretim kalitesini nasıl değerlendiririm?
Dağılımsal kalite için Frechet Inception Distance (FID) veya alana özgü eşdeğerleri, keskinlik ve çeşitlilik için Inception Score (IS) ve sınıf doğruluğunu değerlendirmek için üretilen örnekler üzerinde ayrı ayrı eğitilmiş bir sınıflandırıcı doğruluğu kullanın. Ayrıca mod çökmesini tespit etmek için kapsama ve geri çağırma metriklerini de bildirin.
GAN veya VAE ile karşılaştırıldığında pratik hesaplama maliyeti nedir?
Eğitim maliyeti büyük GAN'lara benzerdir, ancak her örnek birçok ardışık sinir ağı değerlendirmesi (tipik olarak 50-1000 adım) gerektirdiğinden çıkarım daha yavaştır. DDIM veya DPM-Solver gibi hızlandırılmış örnekleyiciler, bunu mütevazı kalite ödünleşmeleriyle on adımlara indirir.
Kaynaklar
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. Proceedings of the 32nd International Conference on Machine Learning (ICML), 2256–2265. link ↗
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS), 33, 6840–6851. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Semi-supervised Diffusion Model for Generative Learning with Partial Labels. ScholarGate. https://scholargate.app/tr/deep-learning/semi-supervised-diffusion-model
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Üretken Çekişmeli AğDerin öğrenme↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Varyasyonel Otomatik KodlayıcıDerin öğrenme↔ karşılaştır