Newton-Raphson ve Skorlama Yöntemleri
Newton-Raphson ve ilgili skorlama yöntemleri, log-olabilirlik fonksiyonunun gradyanı ve eğriliğine dayalı adımlar atarak bir olabilirlik fonksiyonunu tekrarlı bir şekilde maksimize etmekte ve optimuma yakın hızlı yerel yakınsama sağlamaktadır.
Tanım
Newton-Raphson ve skorlama yöntemleri, log-olabilirlik fonksiyonunun yerel bir kuadratik modelini çözerek bir parametre tahminini güncelleyen iteratif optimizasyon algoritmalarıdır; adımı belirlemek için gradyanı (skor) ve bir Hessian veya bilgi matrisini kullanmaktadırlar.
Kapsam
Bu konu, skor denklemlerine uygulanan Newton-Raphson iterasyonunu, gözlemlenen bilgiyi beklentisiyle değiştiren Fisher skorlamasını, gradyanlardan eğriliği yaklaşık olarak hesaplayan yarı-Newton (quasi-Newton) yöntemlerini, adım büyüklüğü ve çizgi arama (line-search) güvenlik önlemlerinin rolünü ve optimumdaki eğrilik ile tahmin edicinin asimptotik varyansı arasındaki bağlantıyı kapsamaktadır.
Temel sorular
- Yerel bir kuadratik yaklaşım, skor denklemleri için Newton adımını nasıl üretir?
- Fisher skorlaması, Newton-Raphson'dan nasıl farklıdır ve neden sıklıkla tercih edilir?
- Yarı-Newton (quasi-Newton) yöntemleri, Hessian'ı hesaplamadan eğriliği nasıl yaklaşık olarak belirler?
- Çizgi aramaları (line searches) ve modifikasyonlar, iterasyonu optimumdan uzakta nasıl kararlı tutar?
Anahtar kavramlar
- Skor fonksiyonu
- Hessian ve bilgi matrisi
- Kuadratik yakınsama
- Fisher skorlaması
- Yarı-Newton (quasi-Newton) güncellemesi
- Çizgi araması (Line search)
Temel kuramlar
- Skor üzerinde Newton iterasyonu
- Maksimum olabilirlik tahminini skor denklemlerini çözmek olarak ele alan Newton adımı, ters Hessian çarpı gradyanı kullanmakta ve maksimuma yaklaştığında kuadratik olarak yakınsamaktadır.
- Fisher skorlaması ve yarı-Newton (quasi-Newton)
- Gözlemlenen bilgiyi beklenen bilgiyle değiştirmek, genellikle daha kararlı olan Fisher skorlamasını sağlamaktadır; yarı-Newton (quasi-Newton) güncellemeleri ise Hessian'ı doğrudan oluşturmaktan kaçınmak için ardışık gradyanlardan bir eğrilik yaklaşımı inşa etmektedir.
Klinik önem
Fisher skorlaması, genelleştirilmiş doğrusal modeller için tekrarlı ağırlıklandırılmış en küçük kareler (iteratively reweighted least squares) aracılığıyla varsayılan uyumlandırma algoritmasıdır ve Newton ile yarı-Newton (quasi-Newton) yöntemleri sayısız doğrusal olmayan istatistiksel modeli uyumlamaktadır; bu yöntemlerin hesapladığı eğrilik, tahminler için standart hataları da sağlamaktadır.
Tarihçe
Newton-Raphson kök bulma yöntemi istatistikten daha eskidir, ancak Fisher'ın skorlamayı tanıtması onu olabilirlik tahminiyle ilişkilendirmiştir; yirminci yüzyıl ortalarındaki sayısal analiz, yarı-Newton (quasi-Newton) yöntemlerini eklemiş ve bu yöntemler birlikte istatistiksel model uyumlandırmanın omurgasını oluşturmuştur.
Öne çıkan isimler
- Isaac Newton
- Joseph Raphson
- Ronald A. Fisher
- Jorge Nocedal
İlgili konular
Temel eserler
- givens2013
- nocedal2006
Sıkça sorulan sorular
- Newton-Raphson optimuma yakın neden bu kadar hızlı yakınsar?
- Hedef fonksiyonun hem eğimini hem de eğriliğini kullanarak yerel bir kuadratik model uyumlamaktadır, bu nedenle her adım gerçek optimuma çok yakın bir yere düşmekte ve kuadratik yakınsama sağlamaktadır. Dezavantajı ise Hessian'a ihtiyaç duyması ve çözümden uzakta kararsız olabilmesidir.
- Fisher skorlaması, basit Newton-Raphson'a neden tercih edilir?
- Fisher skorlaması, genellikle pozitif tanımlı ve gözlemlenen Hessian'dan hesaplaması daha basit olan beklenen bilgiyi kullanmaktadır, bu da iterasyonu daha kararlı hale getirmektedir. Genelleştirilmiş doğrusal modellerin uyumlandırılmasının arkasındaki standart yöntemdir.