Estimasi-M dan Proses Empiris

Estimasi-M memperlakukan estimator yang didefinisikan dengan mengoptimalkan kriteria sampel sebagai satu keluarga, dan teori proses empiris menyediakan teorema batas seragam yang diperlukan untuk menganalisisnya.

Definition

Estimator-M adalah maksimizer rata-rata sampel dari fungsi kriteria, dan estimator-Z adalah akar dari rata-rata sampel dari fungsi estimasi; proses empiris adalah perbedaan yang diskalakan ulang antara distribusi empiris dan distribusi sebenarnya, diindeks oleh kelas fungsi.

Scope

Topik ini mencakup estimator-M yang memaksimalkan tujuan dan estimator-Z yang memecahkan persamaan estimasi, penyatuan kemungkinan maksimum, kuadrat terkecil, kuantil, dan estimator robust, konsistensi dan normalitas asimtotik estimator-M melalui konvergensi seragam, distribusi empiris dan proses empiris, konvergensi lemah ke proses Gaussian, kelas Glivenko-Cantelli dan Donsker, serta kondisi entropi dan pembatasan yang mengontrol kompleksitas.

Core questions

• Bagaimana estimasi-M dan -Z menyatukan kemungkinan maksimum, kuadrat terkecil, dan estimator robust?
• Konvergensi seragam apa yang diperlukan untuk membuktikan konsistensi dan normalitas asimtotik dari estimator-M?
• Kapan proses empiris menyatu secara lemah ke proses Gaussian, yaitu, kapan suatu kelas adalah Donsker?
• Bagaimana kondisi entropi dan pembatasan mengontrol kompleksitas kelas fungsi?

Key theories

Estimasi-M dan -Z

Estimator yang didefinisikan dengan mengoptimalkan atau dengan menetapkan rata-rata sampel menjadi nol memiliki analisis asimtotik yang sama: hukum bilangan besar yang seragam memberikan konsistensi dan linearisasi memberikan normalitas asimtotik dengan varians sandwich.

Konvergensi lemah proses empiris

Pada kelas fungsi Donsker, proses empiris menyatu secara lemah ke proses Gaussian, menggeneralisasi teorema batas pusat dari satu statistik ke seluruh kelas fungsi dan mendasari asimtotik modern.

Clinical relevance

Estimasi-M memberikan kesalahan standar sandwich, atau robust, yang digunakan ketika suatu model mungkin salah spesifikasi, dan teori proses empiris memberikan jaminan teoretis di balik batas generalisasi dalam pembelajaran statistik, menghubungkan statistik klasik dengan pembelajaran mesin.

History

Huber memperkenalkan estimasi-M untuk statistik robust pada tahun 1964. Program proses empiris, yang dikembangkan oleh Dudley, Pollard, dan lainnya sepanjang tahun 1970-an dan 1980-an dan disintesis dalam monograf van der Vaart dan Wellner tahun 1996, menyediakan teori batas seragam yang kini menjadi standar dalam asimtotik.

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

Apa perbedaan antara estimator-M dan estimator-Z?

Estimator-M memaksimalkan fungsi tujuan sampel, sedangkan estimator-Z memecahkan sistem persamaan estimasi; ketika tujuan dapat dibedakan, keduanya bertepatan, karena maksimizer adalah akar dari gradien.

Mengapa teori proses empiris penting untuk pembelajaran mesin?

Teorema batas seragam pada kelas fungsi membatasi seberapa jauh kesalahan empiris dapat menyimpang dari kesalahan sebenarnya di semua model kandidat, yang persis seperti yang dibutuhkan oleh jaminan generalisasi.