İstatistik için Optimizasyon
İstatistik için optimizasyon, bir olabilirlik fonksiyonunu maksimize eden veya bir kayıp fonksiyonunu minimize eden parametre değerlerini bulan sayısal yöntemleri inceler; istatistiksel modellerin çoğu verilere bu şekilde uyarlanmaktadır.
Tanım
İstatistik için optimizasyon, bir istatistiksel modelin parametrelerini tahmin etmek amacıyla bir olabilirlik fonksiyonunun maksimize edicisini veya bir kayıp ya da cezalandırılmış amaç fonksiyonunun minimize edicisini bulan sayısal algoritmaların geliştirilmesi ve analizidir.
Kapsam
Bu alan, özellikle maksimum olabilirlik ve cezalandırılmış tahmin olmak üzere, tahminde ortaya çıkan optimizasyon problemlerini ve bunları çözen algoritmaları kapsar: gizli değişkenli ve eksik verili modeller için beklenti-maksimizasyon algoritması, Newton-Raphson ve yarı-Newton (quasi-Newton) ve Fisher skorlama yöntemleri ile büyük veri ve gürültülü amaç fonksiyonları için stokastik optimizasyon. Vurgu, algoritma seçimini şekillendiren istatistiksel yapı üzerinedir.
Alt konular
Temel sorular
- İstatistiksel tahmin bir optimizasyon problemi olarak nasıl ele alınmaktadır?
- Hangi algoritmalar olabilirlik fonksiyonlarının ve gizli değişkenli modellerin yapısından faydalanmaktadır?
- Eğrilik bilgisi ve adım büyüklüğü stratejileri yakınsamayı nasıl etkilemektedir?
- Optimizasyon, büyük veri setlerine ve gürültülü amaç fonksiyonlarına nasıl uyarlanmaktadır?
Temel kuramlar
- Olabilirlik maksimizasyonu
- Parametreleri olabilirlik fonksiyonunu maksimize ederek tahmin etmek, çıkarımı bir optimizasyon problemine dönüştürmektedir; skor denklemleri durağanlık koşulları olarak işlev görürken, gözlemlenen veya beklenen bilgi yerel eğriliği ve yakınsama hızını yönetmektedir.
- Yapıdan faydalanan algoritmalar
- Beklenti-maksimizasyon, Newton-Raphson ve Fisher skorlama gibi yöntemler istatistiksel amaç fonksiyonlarının özel yapısından faydalanırken, yarı-Newton (quasi-Newton) ve stokastik yöntemler bu fikirleri yüksek boyutlara ve büyük örneklere ölçeklendirmektedir.
Klinik önem
Genelleştirilmiş doğrusal modellerin, karışım modellerinin, gizli Markov modellerinin, yapay sinir ağlarının ve cezalandırılmış regresyonların uyarlanması optimizasyona indirgenmektedir; bu nedenle güvenilir optimizasyon algoritmaları, istatistiksel bir analizin yakınsayıp yakınsamadığını, ne kadar hızlı çalıştığını ve anlamlı bir tahmine ulaşıp ulaşmadığını belirlemektedir.
Tarihçe
Sayısal optimizasyon uygulamalı matematikte gelişmiş olsa da, istatistik kendi araç setini olabilirlik etrafında geliştirmiştir: yirminci yüzyılın başlarında Fisher skorlama, 1977'de birleştirici beklenti-maksimizasyon çerçevesi ve veri setleri ile modeller büyüdükçe merkezi hale gelen stokastik gradyan yöntemleri.
Öne çıkan isimler
- Kenneth Lange
- Arthur Dempster
- Jorge Nocedal
- Stephen Wright
İlgili konular
Temel eserler
- givens2013
- lange2010
Sıkça sorulan sorular
- İstatistiğin neden bu kadar büyük bir kısmı aslında optimizasyondur?
- Çoğu tahmin edici, bir olabilirlik fonksiyonunu maksimize eden veya bir kayıp fonksiyonunu minimize eden değer olarak tanımlanmaktadır. Bu nedenle tahmini hesaplamak bir optimizasyon problemini çözmek anlamına gelmekte olup, algoritma seçimi hem hızı hem de doğru optimumun bulunup bulunmadığını etkilemektedir.
- Neden istatistiğe özgü optimizasyon yöntemleri bulunmaktadır?
- İstatistiksel amaç fonksiyonları, bağımsız gözlemlerden oluşturulmuş bir olabilirlik veya gizli değişkenli bir model gibi bir yapıya sahiptir. Fisher skorlama ve beklenti-maksimizasyon gibi özel algoritmalar, bu yapıdan genel optimizasyon algoritmalarının sunduğunun ötesinde bir kararlılık ve hız için faydalanmaktadır.