Gizil Yayılım Modelleri
High-Resolution Image Synthesis with Latent Diffusion Models · Ayrıca şöyle bilinir: LDM, Stable Diffusion, Latent Diffusion
Gizil Yayılım Modelleri (LDM'ler), Rombach ve arkadaşları tarafından 2022'de tanıtılan ve difüzyon işlemini piksel uzayı yerine sıkıştırılmış bir gizil uzayda gerçekleştiren, böylece verimli yüksek çözünürlüklü görüntü sentezine olanak tanıyan üretken bir yaklaşımdır. Görüntüleri bir varyasyonel otomatik kodlayıcı kullanarak düşük boyutlu bir gizil temsile sıkıştırarak, görsel kaliteyi korurken difüzyon hesaplama açısından elverişli hale gelir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Gizil Yayılım Modelleri, hesaplama verimliliği ve üretim kalitesinin her ikisinin de önemli olduğu durumlarda metinden-görüntüye üretim, görüntüden-görüntüye çeviri ve koşulsuz görüntü sentezi için tercih edilen seçenektir. Büyük görüntülerde görsel tutarlılığın gerekli olduğu durumlarda üstünlük sağlarlar. Maksimum üretim doğruluğunun küçük bölgelerde kritik olduğu ve hesaplama maliyetinin sınırsız olduğu durumlarda piksel uzayı difüzyonunu kullanın. Kenar cihazlarda 100 ms'nin altındaki çıkarım gerektiren uygulamalar için GAN'ları düşünün.
Güçlü yönler & sınırlılıklar
- Gizil sıkıştırma yoluyla piksel uzayı difüzyonuna göre 10-50 kat hızlanma sağlar, pratik dağıtıma olanak tanır
- Minimal mimari değişikliklerle metin, anlamsal haritalar ve görüntüler dahil olmak üzere çeşitli koşullandırma mekanizmalarını destekler
- Görsel kaliteyi ve tutarlılığı korurken yüksek çözünürlüklü görüntü üretimine (2K ve üzeri) ölçeklenir
- GAN'lara kıyasla daha kararlı eğitim ve daha iyi yakınsama özellikleri
- Otomatik kodlayıcı kalitesi yöntemi darboğazlar; zayıf gizil temsiller üretken kaliteyi sınırlar
- Hem otomatik kodlayıcı hem de difüzyon modeli eğitimi için büyük eşleştirilmiş eğitim veri kümeleri ve önemli hesaplama kaynakları gerektirir
- Üretim GAN'lardan daha yavaştır, tam olarak paralelleştirilemeyen birçok temizleme adımı gerektirir
SSS
Gizil uzay nedir ve neden önemlidir?
Gizil uzay, bir otomatik kodlayıcı tarafından öğrenilen sıkıştırılmış bir temsildir. Her boyut verideki değişimleri yakalar. Gizil uzayda difüzyon çalıştırmak, mekansal çözünürlük çok daha düşük olduğundan (örneğin, 512x512 görüntüler 64x64 gizil hale gelir) hesaplamayı azaltır. Bu, görsel kaliteyi korurken verimli eğitimi ve çıkarımı sağlar.
Gizil difüzyon modellerinde koşullandırma nasıl çalışır?
Metin gömmeleri gibi koşullandırma bilgileri, çapraz dikkat mekanizmaları aracılığıyla difüzyon işlemine enjekte edilir. Model, üretim üzerinde ince taneli kontrolü sağlayan, temizleme sırasında ilgili koşullandırma belirteçlerine dikkat etmeyi öğrenir. CLIP gibi transformatörlerden gelen metin gömmeleri, temizleme yörüngesini yönlendiren anlamsal bilgi sağlar.
Neden gizil difüzyon piksel uzayı difüzyonundan daha iyi sonuçlar üretir?
Piksel uzayı difüzyonu, tüm ölçeklerdeki ayrıntıları aynı anda öğrenmelidir. Gizil uzay difüzyonu, modelin içerik ve kompozisyona odaklandığı daha yüksek bir anlamsal düzeyde çalışır. Öğrenilmiş gizil temsil zaten önemli görüntü yapısını yakalar, bu da difüzyon işleminin piksel düzeyindeki ayrıntılar yerine tutarlı üst düzey üretime odaklanmasına izin verir.
Kaynaklar
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10684-10695). DOI: 10.1109/CVPR52688.2022.01042 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). High-Resolution Image Synthesis with Latent Diffusion Models. ScholarGate. https://scholargate.app/tr/deep-learning/latent-diffusion-models
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- DETR (Tespit Transformatörü)Derin öğrenme↔ karşılaştır
- GraphRAGDerin öğrenme↔ karşılaştır
- Masked Autoencoders (MAE)Derin öğrenme↔ karşılaştır
- Herhangi Bir Şeyi Segment Etme ModeliDerin öğrenme↔ karşılaştır