تقريب المربعات الصغرى

يجد تقريب المربعات الصغرى الدالة أو متجه المعامل الذي يقلل مجموع المربعات المتبقية، مما يوفر أفضل مطابقة بالمعنى الإقليدي (L2) والأداة القياسية لملاءمة النماذج للبيانات الصاخبة أو المحددة بشكل زائد.

Definition

تقريب المربعات الصغرى هو تحديد العنصر من مجموعة تقريب مختارة يقلل من معيار L2 (مجموع أو تكامل المربعات المتبقية) للاختلاف عن دالة مستهدفة أو مجموعة بيانات.

Scope

يغطي هذا الموضوع مشكلة المربعات الصغرى الخطية، وتوصيفها من خلال المعادلات العادية والإسقاط المتعامد، والحل المستقر عن طريق تحليل QR وتحليل القيمة المفردة، وتقريب L2 المستمر بواسطة متعددات الحدود المتعامدة، وقضايا التكييف التي تميز طرق الحل الموثوقة عن غير الموثوقة.

Core questions

• كيف يتميز حل المربعات الصغرى هندسيًا كإسقاط متعامد؟
• لماذا تحل المعادلات العادية المشكلة من حيث المبدأ ولكنها تهدد الدقة في الممارسة؟
• كيف يوفر تحليل QR و SVD حلولًا مستقرة، ومتى يكون SVD ضروريًا؟
• كيف تجعل متعددات الحدود المتعامدة تقريب المربعات الصغرى المستمر جيد التكييف؟

Key theories

المعادلات العادية والإسقاط المتعامد

يجعل حل المربعات الصغرى الباقي متعامدًا مع الفضاء الفرعي التقريبي، مما ينتج عنه المعادلات العادية؛ هندسيًا، أفضل تقريب هو الإسقاط المتعامد للبيانات على ذلك الفضاء الفرعي.

الحل المستقر عبر التحليل المتعامد

نظرًا لأن تشكيل المعادلات العادية يربع رقم الشرط، يتم حساب حلول المربعات الصغرى الدقيقة عبر تحليل QR، أو بالنسبة للمشكلات ذات الرتبة الناقصة أو شبه المفردة، عبر تحليل القيمة المفردة ومعكوسها الزائف المرتبط بها.

Mechanisms

بالنسبة لنظام محدد بشكل زائد منفصل، يقلل تحليل QR لمصفوفة التصميم مشكلة المربعات الصغرى إلى حل مثلثي جيد التكييف، متجنبًا التكييف المربع للمعادلات العادية. بالنسبة للمشكلات ذات الرتبة الناقصة، ينتج تحليل القيمة المفردة (SVD) حل المربعات الصغرى ذي المعيار الأدنى من خلال المعكوس الزائف لمور-بينروز ويكشف عن النقصان القريب في الرتبة من خلال القيم المفردة الصغيرة. في الإعداد المستمر، يؤدي التوسع في متعددات الحدود المتعامدة إلى جعل المشكلة قطرية بحيث يتم حساب المعاملات بشكل مستقل كمنتجات داخلية.

Clinical relevance

تعتبر المربعات الصغرى العمود الفقري لملاءمة البيانات والانحدار عبر العلوم والهندسة، وتقدير المعاملات والمعايرة، وإعادة بناء الإشارة والصورة، والمشكلات الفرعية الخطية داخل التحسين غير الخطي؛ ويوجه تحليل تكييفها خيارات التنظيم عندما تكون البيانات صاخبة أو يكون النموذج مفرط المعلمات.

History

نُشرت طريقة المربعات الصغرى بواسطة ليجاندر في عام 1805 وتم تطويرها بتبرير احتمالي بواسطة غاوس؛ وقد تحول معالجتها العددية في القرن العشرين بواسطة خوارزميات التحليل المتعامد، وخاصة استخدام غولوب لتحليل QR و SVD، والتي حلت محل نهج المعادلات العادية غير المستقر في البرامج عالية الجودة.

Key figures

• Carl Friedrich Gauss
• Adrien-Marie Legendre
• Gene H. Golub
• Ake Bjorck

Seminal works

• bjorck1996
• trefethen1997

Frequently asked questions

لماذا لا نحل المعادلات العادية مباشرة؟

تتضمن المعادلات العادية حاصل ضرب مصفوفة التصميم في منقولتها، مما يربع رقم الشرط ويمكن أن يقلل الدقة بشكل كبير للمشكلات سيئة التكييف بشكل معتدل. الحل عبر QR أو SVD يعمل مع المصفوفة الأصلية وهو أكثر استقرارًا بكثير.

كيف يختلف تقريب المربعات الصغرى عن تقريب المينيماكس؟

يقلل تقريب المربعات الصغرى مجموع (أو تكامل) الأخطاء المربعة، مما يوزع الخطأ ويكون حساسًا للقيم الشاذة، بينما يقلل المينيماكس أكبر خطأ. يؤدي تقريب المربعات الصغرى إلى معادلات خطية وهو أسهل في الحساب؛ بينما يعطي المينيماكس خطأ صغيرًا بشكل موحد.