YoğunBağlantılı Evrişimsel Ağ (DenseNet)
Densely Connected Convolutional Network (DenseNet) · Ayrıca şöyle bilinir: DenseNet, Dense Convolutional Network, densely connected CNN, DenseNet-121, DenseNet-169, DenseNet-201
Huang, Liu, van der Maaten ve Weinberger tarafından CVPR 2017'de (En İyi Makale Ödülü) tanıtılan DenseNet (Yoğun Bağlantılı Evrişimsel Ağ), bir yoğun blok içindeki her katmanı kendisinden sonra gelen her katmana bağlar, böylece her katman birleştirilmiş özellik haritalarını önceki tüm katmanlardan alır — bu, özellik yeniden kullanımını en üst düzeye çıkarır, gradyan akışını güçlendirir ve ResNet gibi karşılaştırılabilir mimarilere göre önemli ölçüde daha az parametre ile rekabetçi doğruluk elde eder.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
DenseNet, özellikle etiketli verinin sınırlı olduğu ve parametre verimliliğinin önemli olduğu veya aşırı uyumun (overfitting) bir endişe olduğu görüntü sınıflandırma görevleri için uygundur. Ayrıca tıbbi görüntülemede (X-ışını patoloji tespiti, histopatoloji) ve nesne algılama boru hatlarında transfer öğrenme için yaygın olarak bir omurga olarak kullanılır. Her katman, doğrudan bağlantılar aracılığıyla tüm sonraki katmanlardan gradyanlar aldığı için, DenseNet kaybolan gradyanları telafi etmek için dikkatli öğrenme oranı planlaması gerektirmeden önemli bir derinlikte bile kararlı bir şekilde eğitilir. Çıkarım gecikmesinin birincil kısıtlama olduğu durumlarda daha az uygundur, çünkü birçok özellik haritasının birleştirilmesi, parametre sayısı düşük olsa bile ileri geçiş sırasında bellek bant genişliği gereksinimlerini artırır.
Güçlü yönler & sınırlılıklar
- Yüksek parametre verimliliği: özellikler her katmanda yeniden öğrenilmek yerine yeniden kullanıldığı için, daha az toplam parametre ile ResNet'e göre rekabetçi veya üstün doğruluk elde eder.
- Örtük derin denetim: her katman, yoğun bağlantılar aracılığıyla tüm sonraki katmanlardan gradyan sinyalleri alır, bu da büyük derinliklerde bile kaybolan gradyan sorunlarını önemli ölçüde hafifletir.
- Ölçekler arası özellik yeniden kullanımı: düşük seviyeli, orta seviyeli ve yüksek seviyeli özellik haritaları her yoğun blok boyunca bir arada bulunur, bu da tıbbi görüntü segmentasyonu gibi çoklu ölçek bilgisi gerektiren görevlere fayda sağlar.
- Güçlü düzenlileştirme etkisi: her katmanın girdilerinin çeşitliliği, DenseNet'leri daha küçük veri kümelerinde aşırı uyuma karşı dayanıklı hale getiren örtük bir düzenlileştirme biçimi görevi görür.
- İyi doğrulanmış mimari: CVPR 2017 En İyi Makale Ödülü; CIFAR-10, CIFAR-100, SVHN ve ImageNet üzerinde yayınlanmış hata oranlarıyla kapsamlı bir şekilde kıyaslanmıştır.
- Eğitim sırasında daha yüksek GPU bellek tüketimi: bir yoğun blok içindeki önceki tüm katmanların özellik haritalarını depolamak ve birleştirmek, benzer parametre sayısına sahip artık ağlardan önemli ölçüde daha fazla bellek gerektirir.
- Parametre sayısına göre daha yavaş çıkarım: birçok özellik haritasının birleştirilmesi için bellek bant genişliği, bant genişliğinin sınırlayıcı faktör olduğu donanımlarda darboğaz oluşturabilir.
- Mimari karmaşıklığı derinlikle artar: birleştirme kayıt tutmayı yönetmek ve geçiş katmanlarını tasarlamak dikkatli uygulama gerektirir; basit uygulamalar uzun yoğun bloklarda bellek yetersizliği hatalarıyla karşılaşabilir.
- Genişlik ölçekleme stratejilerinin (örn. EfficientNet) daha iyi doğruluk-hesaplama ödünleşimleri sağladığı çok büyük ölçekli veri kümeleri için daha az uygundur.
SSS
DenseNet, ResNet'ten nasıl farklıdır?
ResNet, önceki bir katmanın çıktısını mevcut katmanın çıktısına ekler (eleman bazında toplama), bu da kanal boyutlarının eşleşmesini gerektirir. DenseNet, bir yoğun blok içindeki tüm önceki katmanların özellik haritalarını birleştirir, böylece her katman tüm önceki temsilleri aynı anda görür. Birleştirme, toplamanın aksine tüm önceki özellikleri açıkça korurken, toplama onları tek bir temsilde birleştirir. Sonuç olarak, DenseNet özellikleri daha agresif bir şekilde yeniden kullanma eğilimindedir ve daha yüksek aktivasyon belleği maliyetiyle daha parametre açısından verimli olabilir.
Büyüme oranı nedir ve nasıl seçilmelidir?
Büyüme oranı k, her katmanın yoğun bloktaki kolektif duruma eklediği özellik haritalarının sayısıdır. Huang ve ark. küçük deneyler için k = 12 ve ImageNet ölçekli modeller için k = 32 kullanmıştır. Her katman önceki tüm özellik haritalarından yararlandığı için küçük bir büyüme oranı genellikle yeterlidir, bu da gereksiz yeniden öğrenmeyi önler. k'yi 32'nin üzerine çıkarmak, bellek ve hesaplamayı önemli ölçüde artırırken orantılı doğruluk artışları nadiren sağlar.
DenseNet, az parametreye sahip olmasına rağmen neden bu kadar çok GPU belleği kullanıyor?
Parametreler (ağırlıklar) nispeten az bellek kaplar; baskın maliyet aktivasyonların depolanmasıdır. Bir yoğun blokta, daha sonraki katmanların girdileriyle birleştirilebilmeleri için her ara katmanın özellik haritaları bellekte tutulmalıdır. Bu nedenle derin yoğun bloklar büyük aktivasyon tensörleri biriktirir. Pleiss et al. (2017) tarafından geliştirilen bellek açısından verimli uygulama, aktivasyonları depolamak yerine geri yayılım sırasında yeniden hesaplayarak bunu hafifletir, bu da bazı ek hesaplama maliyeti karşılığında tepe belleği azaltır.
DenseNet hala modern mimarilerle rekabetçi mi?
DenseNet, özellikle parametre verimliliği ve düzenlileştirme özelliklerinin değerli olduğu tıbbi görüntülemede güçlü ve yaygın olarak kullanılan bir omurga olmaya devam etmektedir. Büyük ölçekli ImageNet kıyaslamalarında, EfficientNet ve Vision Transformers gibi mimariler doğruluk-hesaplama sınırında onu geride bırakmıştır. Ancak, DenseNet'in basitliği, yorumlanabilir tasarımı ve iyi belgelenmiş kıyaslama performansı kombinasyonu, onu özellikle sınırlı veriye sahip alanlarda güvenilir ve yaygın olarak kabul gören bir seçim haline getirir.
Kaynaklar
- Huang, G., Liu, Z., van der Maaten, L., & Weinberger, K. Q. (2017). Densely Connected Convolutional Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 4700–4708. DOI: 10.1109/CVPR.2017.243 ↗
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. ISBN: 978-0-262-03561-3 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Densely Connected Convolutional Network (DenseNet). ScholarGate. https://scholargate.app/tr/deep-learning/densenet
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- EfficientNetDerin öğrenme↔ karşılaştır
- Artık Ağ (ResNet)Derin öğrenme↔ karşılaştır