برآوردگرهای M و فرایندهای تجربی
برآورد M، برآوردگرهایی را که با بهینهسازی یک معیار نمونه تعریف میشوند، به عنوان یک خانواده واحد در نظر میگیرد و نظریه فرایند تجربی، قضایای حد یکنواخت مورد نیاز برای تحلیل آنها را فراهم میکند.
Definition
برآوردگر M، ماکسیممکننده میانگین نمونهای از یک تابع معیار است، و برآوردگر Z، ریشه میانگین نمونهای از یک تابع برآورد است؛ فرایند تجربی، تفاوت مقیاسبندی شده بین توزیع تجربی و واقعی است که توسط یک کلاس از توابع نمایهسازی میشود.
Scope
این موضوع شامل برآوردگرهای M است که یک تابع هدف را به حداکثر میرسانند و برآوردگرهای Z که معادلات برآورد را حل میکنند، یکپارچهسازی حداکثر درستنمایی، حداقل مربعات، برآوردگرهای چندک و مقاوم، سازگاری و نرمال بودن مجانبی برآوردگرهای M از طریق همگرایی یکنواخت، توزیع تجربی و فرایند تجربی، همگرایی ضعیف به یک فرایند گاوسی، کلاسهای گلیونکو-کانتلی و دونسکر، و شرایط آنتروپی و براکتینگ که پیچیدگی را کنترل میکنند.
Core questions
- چگونه برآورد M و Z، حداکثر درستنمایی، حداقل مربعات و برآوردگرهای مقاوم را یکپارچه میکنند؟
- چه همگرایی یکنواختی برای اثبات سازگاری و نرمال بودن مجانبی یک برآوردگر M لازم است؟
- چه زمانی فرایند تجربی به صورت ضعیف به یک فرایند گاوسی همگرا میشود، یعنی چه زمانی یک کلاس دونسکر است؟
- چگونه شرایط آنتروپی و براکتینگ پیچیدگی یک کلاس تابع را کنترل میکنند؟
Key theories
- برآورد M و Z
- برآوردگرهایی که با بهینهسازی یا با صفر قرار دادن میانگین نمونه تعریف میشوند، تحلیل مجانبی مشترکی دارند: قانون اعداد بزرگ یکنواخت، سازگاری را فراهم میکند و یک خطیسازی، نرمال بودن مجانبی را با واریانس ساندویچی ارائه میدهد.
- همگرایی ضعیف فرایند تجربی
- در یک کلاس دونسکر از توابع، فرایند تجربی به صورت ضعیف به یک فرایند گاوسی همگرا میشود، که قضیه حد مرکزی را از یک آمار واحد به یک کلاس تابع کامل تعمیم میدهد و زیربنای مجانبیهای مدرن است.
Clinical relevance
برآورد M، خطاهای استاندارد ساندویچی یا مقاوم را فراهم میکند که در صورت احتمال نادرست بودن مدل استفاده میشوند، و نظریه فرایند تجربی، ضمانتهای نظری پشت کرانهای تعمیم در یادگیری آماری را ارائه میدهد که آمار کلاسیک را به یادگیری ماشین متصل میکند.
History
هوبر در سال 1964 برآورد M را برای آمارهای مقاوم معرفی کرد. برنامه فرایند تجربی، که توسط دادلی، پولارد و دیگران در طول دهههای 1970 و 1980 پیشرفت کرد و در تکنگاری سال 1996 ون در وارت و ولنر سنتز شد، نظریه حد یکنواخت را که اکنون در مجانبیها استاندارد است، ارائه داد.
Key figures
- Peter J. Huber
- Aad van der Vaart
- Richard M. Dudley
- Jon A. Wellner
Related topics
Seminal works
- vanderVaart1998
Frequently asked questions
- تفاوت بین برآوردگر M و برآوردگر Z چیست؟
- یک برآوردگر M یک تابع هدف نمونه را به حداکثر میرساند، در حالی که یک برآوردگر Z یک سیستم از معادلات برآورد را حل میکند؛ هنگامی که تابع هدف مشتقپذیر باشد، این دو با هم منطبق میشوند، زیرا ماکسیممکننده ریشه گرادیان است.
- چرا نظریه فرایند تجربی برای یادگیری ماشین اهمیت دارد؟
- قضایای حد یکنواخت بر روی کلاسهای تابع، میزان انحراف خطای تجربی از خطای واقعی را در تمام مدلهای کاندید محدود میکنند، که دقیقاً همان چیزی است که ضمانتهای تعمیم نیاز دارند.