M-Tahmin ve Ampirik Süreçler
M-tahmin, örneklem kriterini optimize ederek tanımlanan tahmin edicileri tek bir aile olarak ele almakta, ampirik süreç kuramı ise bu tahmin edicileri analiz etmek için gerekli tekdüze limit teoremlerini sağlamaktadır.
Tanım
Bir M-tahmin edici, bir kriter fonksiyonunun örneklem ortalamasının maksimize edicisidir; bir Z-tahmin edici ise bir tahmin fonksiyonunun örneklem ortalamasının köküdür. Ampirik süreç, bir fonksiyon sınıfı tarafından indekslenen, ampirik ve gerçek dağılımlar arasındaki yeniden ölçeklendirilmiş fark olarak tanımlanmaktadır.
Kapsam
Bu konu, bir amacı maksimize eden M-tahmin edicileri ve tahmin denklemlerini çözen Z-tahmin edicilerini, maksimum olabilirlik, en küçük kareler, kantil ve sağlam tahmin edicilerin birleştirilmesini, tekdüze yakınsama yoluyla M-tahmin edicilerin tutarlılığını ve asimptotik normalliğini, ampirik dağılımı ve ampirik süreci, bir Gauss sürecine zayıf yakınsamayı, Glivenko-Cantelli ve Donsker sınıflarını, ayrıca karmaşıklığı kontrol eden entropi ve parantezleme (bracketing) koşullarını kapsamaktadır.
Temel sorular
- M- ve Z-tahmini, maksimum olabilirlik, en küçük kareler ve sağlam tahmin edicileri nasıl birleştirmektedir?
- Bir M-tahmin edicinin tutarlılığını ve asimptotik normalliğini kanıtlamak için hangi tekdüze yakınsama gereklidir?
- Ampirik süreç bir Gauss sürecine ne zaman zayıf olarak yakınsar, yani bir sınıf ne zaman Donsker'dır?
- Entropi ve parantezleme (bracketing) koşulları bir fonksiyon sınıfının karmaşıklığını nasıl kontrol etmektedir?
Temel kuramlar
- M- ve Z-tahmini
- Bir örneklem ortalamasını optimize ederek veya sıfıra eşitleyerek tanımlanan tahmin ediciler ortak bir asimptotik analizi paylaşmaktadır: tekdüze bir büyük sayılar yasası tutarlılık sağlamakta ve bir doğrusallaştırma, sandviç varyans ile asimptotik normallik vermektedir.
- Ampirik süreç zayıf yakınsaması
- Bir Donsker fonksiyon sınıfı üzerinde ampirik süreç bir Gauss sürecine zayıf olarak yakınsamaktadır; bu durum, merkezi limit teoremini tek bir istatistikten tüm bir fonksiyon sınıfına genelleştirmekte ve modern asimptotiklerin temelini oluşturmaktadır.
Klinik önem
M-tahmin, bir modelin yanlış belirtilmiş olabileceği durumlarda kullanılan sandviç veya sağlam standart hataları sağlamaktadır. Ampirik süreç kuramı ise istatistiksel öğrenmede genelleme sınırlarının arkasındaki teorik güvenceleri sunarak klasik istatistik ile makine öğrenmesini birbirine bağlamaktadır.
Tarihçe
Huber, 1964 yılında sağlam istatistikler için M-tahmini tanıtmıştır. Dudley, Pollard ve diğerleri tarafından 1970'ler ve 1980'ler boyunca geliştirilen ve van der Vaart ile Wellner'ın 1996 tarihli monografisinde sentezlenen ampirik süreç programı, günümüzde asimptotiklerde standart olan tekdüze limit kuramını sağlamıştır.
Öne çıkan isimler
- Peter J. Huber
- Aad van der Vaart
- Richard M. Dudley
- Jon A. Wellner
İlgili konular
Temel eserler
- vanderVaart1998
Sıkça sorulan sorular
- Bir M-tahmin edici ile bir Z-tahmin edici arasındaki fark nedir?
- Bir M-tahmin edici bir örneklem amaç fonksiyonunu maksimize ederken, bir Z-tahmin edici bir tahmin denklemleri sistemini çözmektedir. Amaç fonksiyonu türevlenebilir olduğunda ikisi çakışmaktadır, çünkü maksimize edici, gradyanın bir köküdür.
- Ampirik süreç kuramı makine öğrenmesi için neden önemlidir?
- Fonksiyon sınıfları üzerindeki tekdüze limit teoremleri, ampirik hatanın tüm aday modellerde gerçek hatadan ne kadar sapabileceğini sınırlamaktadır; bu da genelleme güvencelerinin tam olarak gerektirdiği şeydir.