روشهای نیوتن-رافسون و امتیازدهی
روشهای نیوتن-رافسون و روشهای امتیازدهی مرتبط، با برداشتن گامهای مکرر بر اساس گرادیان و انحنای لگاریتم درستنمایی، درستنمایی را به حداکثر میرسانند و به همگرایی محلی سریع در نزدیکی نقطه بهینه دست مییابند.
Definition
روشهای نیوتن-رافسون و امتیازدهی الگوریتمهای بهینهسازی تکراری هستند که با حل یک مدل درجه دوم محلی از لگاریتم درستنمایی، برآورد پارامتر را بهروزرسانی میکنند و از گرادیان (امتیاز) و ماتریس هسین یا اطلاعات برای تعیین گام استفاده میکنند.
Scope
این موضوع شامل تکرار نیوتن-رافسون اعمال شده بر معادلات امتیاز، امتیازدهی فیشر که اطلاعات مشاهده شده را با امید ریاضی آن جایگزین میکند، روشهای شبهنیوتن که انحنا را از گرادیانها تخمین میزنند، نقش اندازه گام و محافظتهای جستجوی خطی، و ارتباط بین انحنا در نقطه بهینه و واریانس مجانبی برآوردگر است.
Core questions
- چگونه یک تقریب درجه دوم محلی، گام نیوتن را برای معادلات امتیاز تولید میکند؟
- امتیازدهی فیشر چه تفاوتی با نیوتن-رافسون دارد و چرا اغلب ترجیح داده میشود؟
- روشهای شبهنیوتن چگونه انحنا را بدون محاسبه هسین تخمین میزنند؟
- جستجوهای خطی و اصلاحات چگونه تکرار را در فاصله دور از نقطه بهینه پایدار نگه میدارند؟
Key concepts
- تابع امتیاز
- ماتریس هسین و اطلاعات
- همگرایی درجه دوم
- امتیازدهی فیشر
- بهروزرسانی شبهنیوتن
- جستجوی خطی
Key theories
- تکرار نیوتن بر روی امتیاز
- با در نظر گرفتن تخمین حداکثر درستنمایی به عنوان حل معادلات امتیاز، گام نیوتن از معکوس هسین ضربدر گرادیان استفاده میکند و پس از نزدیک شدن به حداکثر، به صورت درجه دوم همگرا میشود.
- امتیازدهی فیشر و شبهنیوتن
- جایگزینی اطلاعات مشاهده شده با اطلاعات مورد انتظار، امتیازدهی فیشر را به دست میدهد که اغلب پایدارتر است، در حالی که بهروزرسانیهای شبهنیوتن یک تقریب انحنا را از گرادیانهای متوالی میسازند تا از تشکیل مستقیم هسین جلوگیری شود.
Clinical relevance
امتیازدهی فیشر الگوریتم پیشفرض برازش برای مدلهای خطی تعمیمیافته از طریق حداقل مربعات با وزندهی مجدد تکراری است، و روشهای نیوتن و شبهنیوتن مدلهای آماری غیرخطی بیشماری را برازش میدهند؛ انحنایی که این روشها محاسبه میکنند، خطاهای استاندارد را برای برآوردها نیز به دست میدهد.
History
روش یافتن ریشه نیوتن-رافسون پیش از آمار وجود داشته است، اما معرفی امتیازدهی توسط فیشر آن را به تخمین درستنمایی گره زد؛ تحلیل عددی اواسط قرن بیستم روشهای شبهنیوتن را اضافه کرد، که در مجموع ستون فقرات برازش مدل آماری شدند.
Key figures
- Isaac Newton
- Joseph Raphson
- Ronald A. Fisher
- Jorge Nocedal
Related topics
Seminal works
- givens2013
- nocedal2006
Frequently asked questions
- چرا نیوتن-رافسون در نزدیکی نقطه بهینه به سرعت همگرا میشود؟
- این روش با استفاده از شیب و انحنای تابع هدف، یک مدل درجه دوم محلی را برازش میدهد، بنابراین هر گام بسیار نزدیک به نقطه بهینه واقعی قرار میگیرد و همگرایی درجه دوم را فراهم میکند. نکته قابل توجه این است که به هسین نیاز دارد و ممکن است در فاصله دور از راهحل ناپایدار باشد.
- چه زمانی امتیازدهی فیشر بر نیوتن-رافسون ساده ترجیح داده میشود؟
- امتیازدهی فیشر از اطلاعات مورد انتظار استفاده میکند که اغلب مثبت معین و سادهتر از هسین مشاهده شده است، و تکرار را پایدارتر میکند. این روش استاندارد پشت برازش مدلهای خطی تعمیمیافته است.