Evrişimsel ve Dizi Modelleri
Evrişimsel ağlar, görüntüler gibi ızgara benzeri verilerdeki uzamsal yapıyı kullanırken, tekrarlayan ve dikkat tabanlı modeller metin ve konuşma gibi dizileri işlemektedir.
Tanım
Evrişimsel modeller, öğrenilmiş filtreleri bir ızgara boyunca uygulayarak aynı özellik dedektörünün her konumda yeniden kullanılmasını sağlarken, dizi modelleri zaman içinde durumu koruyarak veya konumlar arasında dikkat göstererek sıralı girdileri işlemektedir; her mimari, kendi veri tipine uygun ön varsayımları kodlamaktadır.
Kapsam
Bu konu, yapılandırılmış verilere özgü mimarileri kapsamaktadır: görüntüler ve diğer ızgaralar için yerel filtreler, ağırlık paylaşımı ve havuzlama içeren evrişimsel sinir ağları; uzun menzilli bağımlılıklara sahip diziler için tekrarlayan ağlar ve uzun kısa süreli bellek (long short-term memory) birimleri; ve konumlar arası ilişkileri modelleyen dikkat mekanizmaları. Bu mimarileri etkili kılan endüktif önyargılar da ele alınmaktadır.
Temel sorular
- Evrişim, görüntülerdeki öteleme yapısını nasıl kullanır?
- Ağırlık paylaşımı ve havuzlama, genelleme ve verimliliğe neden yardımcı olur?
- Tekrarlayan ve uzun kısa süreli bellek (long short-term memory) birimleri uzun dizileri nasıl işler?
- Dikkat mekanizması, salt tekrarlayan işlemeye ek olarak ne katmaktadır?
Temel kuramlar
- Evrişim ve ağırlık paylaşımı
- Evrişimsel katmanlar, aynı küçük filtreyi tüm konumlara uygulayarak parametreleri önemli ölçüde azaltmakta ve öteleme eşdeğerliliğini (translation equivariance) yerleşik hale getirerek bir konumda öğrenilen özelliklerin her yere aktarılmasını sağlamaktadır.
- Uzun kısa süreli bellek (Long short-term memory)
- Uzun kısa süreli bellek (long short-term memory) gibi kapılı tekrarlayan birimler, korumalı bir bellek hücresi tutarak, tekrarlayan ağların basit tekrarlamanın yapamadığı birçok zaman adımı boyunca bağımlılıkları öğrenmesini sağlamaktadır.
- Diziler Üzerinde Dikkat
- Dikkat mekanizmaları, bir modelin bir dizinin tüm konumlarından gelen bilgiyi doğrudan ağırlıklandırmasına ve birleştirmesine olanak tanıyarak, uzun menzilli ilişkileri yakalamakta ve yüksek düzeyde paralel dizi işlemeyi mümkün kılmaktadır.
Klinik önem
Evrişimsel ağlar, bilgisayar görüşü ve tıbbi görüntülemede devrim yaratırken, dizi modelleri konuşma tanıma ve makine çevirisine güç vermiş, dikkat mekanizması aracılığıyla da modern doğal dil sistemlerinin arkasındaki büyük dil modellerini desteklemiştir; mimariyi veri yapısına uygun hale getirmek, uygulamalı derin öğrenmede merkezi bir tasarım ilkesi olmaya devam etmektedir.
Tarihçe
Evrişimsel ağlar, Fukushima'nın neokognitronundan ve LeCun'un rakam tanıma üzerine yaptığı çalışmalardan gelişmiş olup, 2012'deki büyük ölçekli görüntü sınıflandırma başarısı derin öğrenme patlamasını tetiklemiştir. 1997'de tanıtılan uzun kısa süreli bellek (long short-term memory), diziler için uzun menzilli bağımlılık sorununu çözmüş, dikkat mekanizmaları ise daha sonra transformer modellerinin temeli haline gelmiştir.
Öne çıkan isimler
- Yann LeCun
- Sepp Hochreiter
- Juergen Schmidhuber
- Kunihiko Fukushima
İlgili konular
Temel eserler
- hochreiter1997
- lecun2015
- goodfellow2016
Sıkça sorulan sorular
- Evrişimsel ağlar neden görüntülerde bu kadar başarılıdır?
- Görüntüler, herhangi bir yerde ortaya çıkabilen yerel yapı ve desenlere sahiptir. Evrişim, aynı filtreyi tüm görüntüye uyguladığı için, bir kenar gibi bir özellik nerede olursa olsun tespit edilmekte, tamamen bağlı bir katmandan çok daha az parametre kullanılmakta ve daha iyi genelleme sağlanmaktadır.
- Uzun kısa süreli bellek (long short-term memory) hangi sorunu çözmektedir?
- Basit tekrarlayan ağlar, gradyanlar kaybolduğu için birçok zaman adımına yayılan bağımlılıkları öğrenmekte zorlanmaktadır. Uzun kısa süreli bellek (long short-term memory), bilgiyi uzun aralıklar boyunca koruyan kapılı bir bellek hücresi sunarak, uzun menzilli zamansal desenleri öğrenmeyi mümkün kılmaktadır.