Sinir Ağı Mimarileri
Sinir ağı mimarileri, yapay nöronların katmanlar halinde nasıl bağlandığını belirleyerek, bir ağın temsil edebileceği fonksiyon ailesini tanımlamaktadır.
Tanım
Bir sinir ağı mimarisi, yapay nöronların birbirine bağlı katmanlar halinde düzenlenmesidir; burada her nöron, girdilerinin ağırlıklı toplamının doğrusal olmayan bir fonksiyonunu hesaplamaktadır. Mimari, ağın kapasitesini ve bir öğrenme problemine getirdiği endüktif önyargıları belirlemektedir.
Kapsam
Bu konu, sinir ağlarının yapı taşlarını ve yapılarını kapsamaktadır: ağırlıklı girdilere ve doğrusal olmayan bir aktivasyona sahip yapay nöron, tam bağlantılı ileri beslemeli katmanlar ve çok katmanlı algılayıcı (multilayer perceptron), sigmoid ve düzeltilmiş doğrusal birimler (rectified linear units) gibi aktivasyon fonksiyonları ve derinlik, genişlik ve bağlantının bir ağın ne öğrenebileceğini nasıl şekillendirdiği incelenmektedir. Evrensel yaklaşım özelliği ve mimari seçiminin rolü tanıtılmaktadır.
Temel sorular
- Yapay bir nöron çıktısını nasıl hesaplar?
- Çok katmanlı bir ağ, tek bir katmanın temsil edemediği neleri temsil edebilir?
- Aktivasyon fonksiyonları öğrenmeyi nasıl etkiler?
- Derinlik ve genişlik, kapasiteyi eğitilebilirlik karşısında nasıl dengeler?
Temel kuramlar
- Evrensel Yaklaşım
- Yeterince geniş tek bir gizli katmana sahip ileri beslemeli bir ağ, sınırlı bir etki alanındaki herhangi bir sürekli fonksiyonu yaklaşık olarak temsil edebilir ve bu da sinir ağlarını esnek fonksiyon yaklaştırıcıları olarak konumlandırmaktadır.
- Aktivasyon Fonksiyonları ve Doğrusalsızlık
- Doğrusal olmayan aktivasyonlar, çok katmanlı ağlara güçlerini veren unsurlardır; özellikle düzeltilmiş doğrusal birimler (rectified linear units), gradyan akışını kolaylaştırmakta ve derin ağlar için varsayılan seçim haline gelmektedir.
- Bileşim Olarak Derinlik
- Katman eklemek dönüşümleri birleştirerek ağın giderek daha soyut özellikler oluşturmasını sağlamaktadır; bu durum genellikle karmaşık fonksiyonları tek bir geniş katmandan daha verimli bir şekilde temsil etmektedir.
Klinik önem
Mimari seçimi, genel veriler için tam bağlantılı ağlardan, görüntüler ve diziler için özelleşmiş yapılara kadar, bir problem hakkındaki ön bilginin derin bir modele dahil edilmesinin ana yoludur. Yapay nöronu ve evrensel yaklaşım özelliğini anlamak, sinir ağlarının hem gücünü hem de sınırlarını açıklığa kavuşturmaktadır.
Tarihçe
Yapay nöronun kökenleri McCulloch ve Pitts'e ve Rosenblatt'ın algılayıcısına (perceptron) dayanmaktadır. Minsky ve Papert'ın tek katmanlı ağlara yönelik eleştirisi, çok katmanlı ağlar ve geri yayılım (backpropagation) ile alanın yeniden canlanmasına kadar ilerlemeyi yavaşlatmıştır. Derin öğrenme dönemi ise düzeltilmiş doğrusal birimler (rectified-linear units) ve diğer bileşenlerden oluşan onlarca veya yüzlerce katmanlı mimarileri beraberinde getirmiştir.
Öne çıkan isimler
- Frank Rosenblatt
- Geoffrey Hinton
- Yann LeCun
İlgili konular
Temel eserler
- goodfellow2016
- bishop2006
- lecun2015
Sıkça sorulan sorular
- Aktivasyon fonksiyonu nedir ve neden gereklidir?
- Bir aktivasyon fonksiyonu, bir nöronun ağırlıklı girdi toplamına doğrusal olmayan bir dönüşüm uygulamaktadır. Bu fonksiyon olmadan, katmanları üst üste yığmak yalnızca başka bir doğrusal fonksiyon üretecektir; bu nedenle doğrusalsızlık, derin ağların karmaşık, doğrusal olmayan ilişkileri temsil etmesini sağlayan şeydir.
- Tek bir geniş katman herhangi bir fonksiyonu yaklaşık olarak temsil edebiliyorsa, neden derin ağlar kullanılır?
- Evrensel yaklaşım, sığ bir ağın prensipte herhangi bir fonksiyonu uyarlayabileceğini belirtmektedir, ancak bu durum pratik olmayan sayıda nöron gerektirebilir. Derin ağlar genellikle aynı fonksiyonları çok daha kompakt bir şekilde temsil etmekte ve faydalı hiyerarşik özellikler öğrenmektedir; bu nedenle pratikte derinlik tercih edilmektedir.