Batch Normalization

Orijinal Ioffe & Szegedy makalesi, bunu aktivasyon fonksiyonundan hemen önce — yani doğrusal dönüşümden sonra ancak ReLU veya başka bir doğrusal olmayanlığı uygulamadan önce — yerleştirir. Pratikte, her iki sıralama da kullanılır ve fark genellikle küçüktür; ancak, belirli bir mimari aksi belirtmedikçe, aktivasyondan önce yerleştirmek geleneksel varsayılan değerdir.

Eğitim sırasında ortalama ve varyans mevcut mini-yığından hesaplanır, bu da bir tür stokastik düzenlileştirme getirir. Çıkarımda, mini-yığın istatistiklerini kullanmak, tahminlerin yığında şans eseri bulunan diğer örneklere bağlı olmasına neden olur, bu da istenmeyen bir durumdur. Bunun yerine, eğitim sırasında birikmiş popülasyon ortalaması ve varyansının çalışma tahminleri kullanılır, bu da çıkarımı deterministik hale getirir. Çoğu çerçevede bu, modeli değerlendirme moduna ayarlayarak kontrol edilir (örneğin, PyTorch'ta model.eval()).

Sıfır ortalama ve birim varyansa normalleştirmeden sonra, katman başka bir ortalama veya ölçek temsil etme yeteneğini kaybetmiştir. Gama ve beta bu kapasiteyi geri kazandırır: gama normalleştirilmiş aktivasyonu ölçeklendirir ve beta onu kaydırır. Geri yayılım ile öğrenilen bu parametreler, normalleştirmenin faydalı olmadığı durumlarda kimlik dönüşümünü temsil etmelerini sağlayarak ağın tam ifade gücünü korur.

Katman Normalleştirme, her bir örnek için özellik boyutu boyunca normalleştirme yapar, bu da onu yığın boyutundan bağımsız hale getirir; tekrarlayan ağlar ve Transformer'lar için tercih edilen seçenektir. Grup Normalleştirme, kanalları gruplara ayırır ve her grup içinde normalleştirme yapar, yığın istatistiklerinin güvenilmez olduğu küçük mini-yığınlarda iyi performans gösterir. Mini-yığın boyutlarının 16'nın oldukça üzerinde olduğu ve mimarinin standart bir ileri beslemeli veya evrişimli ağ olduğu durumlarda Batch Normalization kullanın.