تقریب حداقل مربعات

تقریب حداقل مربعات، تابع یا بردار پارامتری را می‌یابد که مجموع مربعات باقیمانده‌ها را به حداقل می‌رساند و به این ترتیب بهترین برازش را به معنای اقلیدسی (L2) فراهم می‌کند. این روش ابزار استانداردی برای برازش مدل‌ها بر داده‌های نویزدار یا بیش از حد تعیین‌شده است.

Definition

تقریب حداقل مربعات عبارت است از تعیین عنصری از مجموعه تقریبی انتخاب شده که نرم L2 (مجموع یا انتگرال مربعات باقیمانده‌ها) اختلاف از یک تابع هدف یا مجموعه داده را به حداقل می‌رساند.

Scope

این موضوع شامل مسئله حداقل مربعات خطی، توصیف آن از طریق معادلات نرمال و تصویر متعامد، حل پایدار آن با تجزیه QR و تجزیه مقادیر منفرد، تقریب پیوسته L2 با چندجمله‌ای‌های متعامد، و مسائل مربوط به شرطی‌سازی است که روش‌های حل قابل اعتماد را از غیرقابل اعتماد متمایز می‌کند.

Core questions

• چگونه راه‌حل حداقل مربعات به صورت هندسی به عنوان یک تصویر متعامد مشخص می‌شود؟
• چرا معادلات نرمال اصولاً مسئله را حل می‌کنند اما در عمل دقت را تهدید می‌کنند؟
• چگونه تجزیه QR و SVD راه‌حل‌های پایدار ارائه می‌دهند و چه زمانی SVD ضروری است؟
• چگونه چندجمله‌ای‌های متعامد تقریب حداقل مربعات پیوسته را به خوبی شرطی می‌کنند؟

Key theories

معادلات نرمال و تصویر متعامد

راه‌حل حداقل مربعات، باقیمانده را نسبت به زیرفضای تقریبی متعامد می‌کند که منجر به معادلات نرمال می‌شود؛ از نظر هندسی، بهترین تقریب، تصویر متعامد داده‌ها بر روی آن زیرفضا است.

راه‌حل پایدار از طریق تجزیه متعامد

از آنجا که تشکیل معادلات نرمال، عدد شرطی را به توان دو می‌رساند، راه‌حل‌های دقیق حداقل مربعات از طریق تجزیه QR یا، برای مسائل دارای رتبه ناقص یا نزدیک به منفرد، از طریق تجزیه مقادیر منفرد و شبه‌معکوس مرتبط با آن محاسبه می‌شوند.

Mechanisms

برای یک سیستم گسسته بیش از حد تعیین‌شده، تجزیه QR ماتریس طراحی، مسئله حداقل مربعات را به یک حل مثلثی با شرطی‌سازی خوب کاهش می‌دهد و از شرطی‌سازی مربعی معادلات نرمال جلوگیری می‌کند. برای مسائل دارای رتبه ناقص، SVD راه‌حل حداقل مربعات با حداقل نرم را از طریق شبه‌معکوس مور-پنروز ارائه می‌دهد و نقص رتبه نزدیک را از طریق مقادیر منفرد کوچک آشکار می‌کند. در محیط پیوسته، بسط بر اساس چندجمله‌ای‌های متعامد، مسئله را قطری می‌کند، به طوری که ضرایب به طور مستقل به عنوان حاصل‌ضرب‌های داخلی محاسبه می‌شوند.

Clinical relevance

حداقل مربعات ستون فقرات برازش داده‌ها و رگرسیون در علوم و مهندسی، تخمین و کالیبراسیون پارامترها، بازسازی سیگنال و تصویر، و زیرمسائل خطی‌شده در بهینه‌سازی غیرخطی است؛ تحلیل شرطی‌سازی آن، انتخاب‌های منظم‌سازی را زمانی که داده‌ها نویزدار هستند یا مدل بیش از حد پارامتری شده است، هدایت می‌کند.

History

روش حداقل مربعات در سال 1805 توسط لژاندر منتشر شد و با توجیه احتمالی توسط گاوس توسعه یافت؛ درمان عددی آن در قرن بیستم توسط الگوریتم‌های تجزیه متعامد، به ویژه استفاده از QR و SVD به رهبری گالوب، متحول شد که رویکرد ناپایدار معادلات نرمال را در نرم‌افزارهای با کیفیت بالا جایگزین کرد.

Key figures

• Carl Friedrich Gauss
• Adrien-Marie Legendre
• Gene H. Golub
• Ake Bjorck

Seminal works

• bjorck1996
• trefethen1997

Frequently asked questions

چرا معادلات نرمال را مستقیماً حل نکنیم؟

معادلات نرمال شامل حاصل‌ضرب ماتریس طراحی در ترانهاده آن است که عدد شرطی را به توان دو می‌رساند و می‌تواند دقت را برای مسائل با شرطی‌سازی متوسط به شدت کاهش دهد. حل از طریق QR یا SVD با ماتریس اصلی کار می‌کند و بسیار پایدارتر است.

حداقل مربعات چه تفاوتی با تقریب مینیمکس دارد؟

حداقل مربعات مجموع (یا انتگرال) مربعات خطاها را به حداقل می‌رساند که خطا را پخش می‌کند و به نقاط پرت حساس است، در حالی که مینیمکس بزرگترین خطا را به حداقل می‌رساند. حداقل مربعات منجر به معادلات خطی می‌شود و محاسبه آن آسان‌تر است؛ مینیمکس خطای یکنواخت کوچکی را ارائه می‌دهد.