Approximation par les moindres carrés

L'approximation par les moindres carrés détermine la fonction ou le vecteur de paramètres qui minimise la somme des carrés des résidus, offrant l'ajustement optimal au sens euclidien (L2) et constituant l'outil standard pour l'ajustement de modèles à des données bruitées ou surdéterminées.

Definition

L'approximation par les moindres carrés est la détermination de l'élément d'un ensemble d'approximation choisi qui minimise la norme L2 (somme ou intégrale des carrés des résidus) de l'écart par rapport à une fonction cible ou un ensemble de données.

Scope

Ce sujet aborde le problème des moindres carrés linéaires, sa caractérisation par les équations normales et la projection orthogonale, la solution stable par factorisation QR et la décomposition en valeurs singulières, l'approximation continue L2 par polynômes orthogonaux, ainsi que les problèmes de conditionnement qui distinguent les méthodes de résolution fiables des méthodes non fiables.

Core questions

• Comment la solution des moindres carrés est-elle caractérisée géométriquement comme une projection orthogonale ?
• Pourquoi les équations normales résolvent-elles le problème en principe mais menacent-elles la précision en pratique ?
• Comment la factorisation QR et la SVD fournissent-elles des solutions stables, et quand la SVD est-elle essentielle ?
• Comment les polynômes orthogonaux rendent-ils l'approximation continue par les moindres carrés bien conditionnée ?

Key theories

Équations normales et projection orthogonale

La solution des moindres carrés rend le résidu orthogonal au sous-espace d'approximation, ce qui conduit aux équations normales ; géométriquement, la meilleure approximation est la projection orthogonale des données sur ce sous-espace.

Solution stable par factorisation orthogonale

Parce que la formation des équations normales élève au carré le nombre de conditionnement, les solutions précises des moindres carrés sont calculées via la factorisation QR ou, pour les problèmes de rang déficient ou quasi-singuliers, via la décomposition en valeurs singulières et sa pseudo-inverse associée.

Mechanisms

Pour un système discret surdéterminé, une factorisation QR de la matrice de conception réduit le problème des moindres carrés à une résolution triangulaire bien conditionnée, évitant le conditionnement au carré des équations normales. Pour les problèmes de rang déficient, la SVD (décomposition en valeurs singulières) fournit la solution des moindres carrés de norme minimale via la pseudo-inverse de Moore-Penrose et révèle une quasi-déficience de rang par de petites valeurs singulières. Dans le cadre continu, le développement en polynômes orthogonaux diagonalise le problème, de sorte que les coefficients sont calculés indépendamment comme des produits scalaires.

Clinical relevance

Les moindres carrés sont la pierre angulaire de l'ajustement de données et de la régression dans les sciences et l'ingénierie, de l'estimation et de la calibration de paramètres, de la reconstruction de signaux et d'images, et des sous-problèmes linéarisés au sein de l'optimisation non linéaire ; son analyse de conditionnement guide les choix de régularisation lorsque les données sont bruitées ou que le modèle est sur-paramétré.

History

La méthode des moindres carrés a été publiée par Legendre en 1805 et développée avec une justification probabiliste par Gauss ; son traitement numérique a été transformé au XXe siècle par des algorithmes de factorisation orthogonale, notamment l'utilisation de la QR et de la SVD (décomposition en valeurs singulières) sous l'impulsion de Golub, qui ont remplacé l'approche instable des équations normales dans les logiciels de haute qualité.

Key figures

• Carl Friedrich Gauss
• Adrien-Marie Legendre
• Gene H. Golub
• Ake Bjorck

Seminal works

• bjorck1996
• trefethen1997

Frequently asked questions

Pourquoi ne pas simplement résoudre directement les équations normales ?

Les équations normales impliquent le produit de la matrice de conception par sa transposée, ce qui élève au carré le nombre de conditionnement et peut gravement dégrader la précision pour des problèmes modérément mal conditionnés. La résolution via QR ou la SVD opère avec la matrice originale et est bien plus stable.

En quoi les moindres carrés diffèrent-ils de l'approximation minimax ?

Les moindres carrés minimisent la somme (ou l'intégrale) des erreurs au carré, ce qui répartit l'erreur et est sensible aux valeurs aberrantes, tandis que le minimax minimise la plus grande erreur. Les moindres carrés conduisent à des équations linéaires et sont plus faciles à calculer ; le minimax donne une erreur uniformément petite.