Çok Modlu Yayılım Modeli
Multimodal Diffusion Model (Cross-Modal Conditional Denoising Diffusion) · Ayrıca şöyle bilinir: multimodal DDPM, cross-modal diffusion, conditional multimodal diffusion, multi-modal denoising diffusion
Çok modlu bir yayılım modeli, metin, görüntü, ses veya video gibi birden çok modaliteden gelen sinyalleri aynı anda koşullandırarak, gürültü giderme yayılım olasılıksal modellerini içerik üretmek veya anlamak için genişletir. Çapraz modal bağlam tarafından yönlendirilen bir gürültü sürecini tersine çevirmeyi öğrenir, bu da yüksek kaliteli sentez ve modaliteler arası çeviriye olanak tanır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Görev, metinden-görüntüye sentez, görsel temelli görüntü başlıklandırma, ses-görüntü konuşma sentezi veya metin ve referans karelerden video üretimi gibi, ikiden fazla modaliteden gelen kısıtlamalara uyması gereken yüksek kaliteli üretim veya çeviri gerektirdiğinde bir çok modlu yayılım modeli kullanın. Makul miktarda (en az on binlerce hizalanmış çift) modaliteler arası eğitim verisi mevcut olduğunda ve üretim kalitesi en önemli olduğunda eşleştirilmiş olduğunda üstün performans gösterir. Ayırt edici sınıflandırma görevleri için, daha basit çapraz modal kodlayıcıların yeterli olduğu, çok küçük veri kümeleri için (sıfırdan eğitmeye göre önceden eğitilmiş çok modlu bir yayılım modelini ince ayar yapmak tercih edilir) veya çıkarım gecikmesi veya hesaplama bütçesinin sıkı bir şekilde kısıtlandığı durumlar için kaçının, çünkü tekrarlı örnekleme tek geçişli üretken modellere göre yavaştır.
Güçlü yönler & sınırlılıklar
- Birden çok modaliteden gelen kısıtlamaları aynı anda karşılayan yüksek kaliteli, çeşitli çıktılar üretir.
- Eğitim hedefi (gürültü tahmini) stabildir ve iyi anlaşılmıştır, GAN'lardaki mod çökmesini önler.
- Çapraz dikkat koşullandırması modülerdir: modaliteler, yeniden eğitime gerek kalmadan çıkarım sırasında bırakılabilir.
- Önceden eğitilmiş kontrol noktaları (Stable Diffusion, DALL-E 3, Imagen), alana özgü ince ayar için güçlü bir başlangıç sağlar.
- Rehberlik gücü, çeşitlilik ile sadakat arasındaki dengeyi çıkarım sırasında ayarlayan tek bir skaler düğmedir.
- Sınıflandırıcısız rehberlik sırasında kullanılan koşulsuz geri çekilme yolları aracılığıyla eksik modaliteleri doğal olarak ele alır.
- Tekrarlı örnekleme, on binlerce sinir ağı ileri geçişi gerektirir, bu da çıkarımı tek atımlı modellere göre kat kat daha yavaş hale getirir.
- Sıfırdan eğitim, devasa eşleştirilmiş çok modlu veri kümeleri ve önemli GPU belleği gerektirir.
- Çok modlu üretken kalitenin değerlendirilmesi önemsizdir; FID gibi standart metrikler çapraz modal hizalamayı yakalamaz.
- Model, bilgi yoğun alanlarda sorunlu olan makul ancak gerçekte yanlış içerik üretebilir.
- Gizli yayılım modelleri, ek bir otomatik kodlayıcı aşaması gerektirir, bu da karmaşıklık ve yeniden yapılandırma kalitesi için potansiyel bir darboğaz ekler.
SSS
Çok modlu bir yayılım modeli, standart bir görüntü yayılım modelinden nasıl farklıdır?
Standart bir görüntü yayılım modeli yalnızca görüntü alanı gürültüsüne ve isteğe bağlı olarak sınıf etiketleri gibi tek bir modaliteye koşullanır. Çok modlu bir yayılım modeli, özel kodlayıcılar ve çapraz dikkat yoluyla metin, ses, derinlik, video vb. gibi iki veya daha fazla modaliteden gelen koşul sinyallerini alır ve birleştirir, bu da daha zengin, ortak kısıtlanmış üretim sağlar.
Sıfırdan mı eğitim yapmam gerekiyor, yoksa mevcut bir modeli ince ayar yapabilir miyim?
Önceden eğitilmiş bir kontrol noktasını (örn. Stable Diffusion) alana özgü eşleştirilmiş veriler üzerinde ince ayar yapmak neredeyse her zaman tercih edilir. Sıfırdan eğitim, milyonlarca hizalanmış çift ve yüzlerce GPU günü gerektirir. LoRA, DreamBooth veya ControlNet gibi teknikler, çok daha az örnek ve hesaplama ile önceden eğitilmiş bir modeli uyarlamanıza olanak tanır.
Kaç eşleştirilmiş çok modlu örneğe ihtiyacım var?
Önceden eğitilmiş bir modeli ince ayar yapmak için, DreamBooth gibi yöntemlerle birkaç yüz yüksek kaliteli çift yeterli olabilir. Yeni bir koşullandırma modülü (örn. ControlNet) eğitmek için tipik olarak on binlerce çift gerekir. Rekabetçi bir modelin sıfırdan tam eğitimi, milyonlarca hizalanmış örnek gerektirir.
Çapraz modal hizalamayı değerlendirmek için hangi metriği kullanmalıyım?
Metin-görüntü görevleri için CLIP puanı, üretilen görüntüler ve metin istemleri arasındaki hizalamayı ölçer. Ses-görüntü görevleri için AV-senkronizasyon metrikleri zamansal karşılığı değerlendirir. FID veya FVD (video için) üretim kalitesini yakalar ancak hizalamayı yakalamaz — her zaman bir kalite metriğini bir çapraz modal hizalama metriğiyle eşleştirin.
Sınıflandırıcısız rehberlik gerekli mi?
Kesinlikle gerekli değildir, ancak örnek çeşitliliği ile çapraz modal sadakat arasındaki dengeyi kontrol etmenin standart yoludur. Olmadan, koşullu ve koşulsuz modeller ayrı ayrı eğitilmelidir veya koşul sinyali yetersiz kullanılabilir. Metin-görüntü görevleri için tipik olarak 7-12 rehberlik ölçeği kullanılır.
Kaynaklar
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10684–10695. DOI: 10.1109/CVPR52688.2022.01042 ↗
- Ho, J., Jain, A., & Abbeel, P. (2020). Denoising Diffusion Probabilistic Models. Advances in Neural Information Processing Systems (NeurIPS), 33, 6840–6851. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Multimodal Diffusion Model (Cross-Modal Conditional Denoising Diffusion). ScholarGate. https://scholargate.app/tr/deep-learning/multimodal-diffusion-model
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- İnce Ayarlı Difüzyon ModeliDerin öğrenme↔ karşılaştır
- Çok Modlu BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- Çok Modlu GANDerin öğrenme↔ karşılaştır
- Çok Modlu TransformerDerin öğrenme↔ karşılaştır
- Çok Modlu Varyasyonel Otomatik KodlayıcıDerin öğrenme↔ karşılaştır