Aproximación por mínimos cuadrados

La aproximación por mínimos cuadrados encuentra la función o el vector de parámetros que minimiza la suma de los residuos al cuadrado, proporcionando el ajuste óptimo en el sentido euclidiano (L2) y la herramienta estándar para ajustar modelos a datos ruidosos o sobredeterminados.

Definition

La aproximación por mínimos cuadrados es la determinación del elemento de un conjunto de aproximación elegido que minimiza la norma L2 (suma o integral de los residuos al cuadrado) de la discrepancia con respecto a una función objetivo o un conjunto de datos.

Scope

Este tema cubre el problema lineal de mínimos cuadrados, su caracterización a través de las ecuaciones normales y la proyección ortogonal, la solución estable mediante la factorización QR y la descomposición en valores singulares, la aproximación continua L2 mediante polinomios ortogonales y los problemas de condicionamiento que distinguen los métodos de solución fiables de los no fiables.

Core questions

• ¿Cómo se caracteriza geométricamente la solución de mínimos cuadrados como una proyección ortogonal?
• ¿Por qué las ecuaciones normales resuelven el problema en principio, pero amenazan la precisión en la práctica?
• ¿Cómo proporcionan la factorización QR y la SVD soluciones estables, y cuándo es esencial la SVD?
• ¿Cómo hacen los polinomios ortogonales que la aproximación continua por mínimos cuadrados esté bien condicionada?

Key theories

Ecuaciones normales y proyección ortogonal

La solución de mínimos cuadrados hace que el residuo sea ortogonal al subespacio de aproximación, lo que produce las ecuaciones normales; geométricamente, la mejor aproximación es la proyección ortogonal de los datos sobre ese subespacio.

Solución estable mediante factorización ortogonal

Debido a que la formación de las ecuaciones normales eleva al cuadrado el número de condición, las soluciones precisas de mínimos cuadrados se calculan mediante la factorización QR o, para problemas con deficiencia de rango o casi singulares, mediante la descomposición en valores singulares y su pseudoinversa asociada.

Mechanisms

Para un sistema discreto sobredeterminado, una factorización QR de la matriz de diseño reduce el problema de mínimos cuadrados a una resolución triangular bien condicionada, evitando el condicionamiento al cuadrado de las ecuaciones normales. Para problemas con deficiencia de rango, la SVD produce la solución de mínimos cuadrados de norma mínima a través de la pseudoinversa de Moore-Penrose y expone la deficiencia de rango cercana a través de pequeños valores singulares. En el entorno continuo, la expansión en polinomios ortogonales diagonaliza el problema, de modo que los coeficientes se calculan de forma independiente como productos internos.

Clinical relevance

Los mínimos cuadrados son la base del ajuste de datos y la regresión en todas las ciencias e ingenierías, de la estimación y calibración de parámetros, de la reconstrucción de señales e imágenes, y de los subproblemas linealizados dentro de la optimización no lineal; su análisis de condicionamiento guía las elecciones de regularización cuando los datos son ruidosos o el modelo está sobreparametrizado.

History

El método de los mínimos cuadrados fue publicado por Legendre en 1805 y desarrollado con una justificación probabilística por Gauss; su tratamiento numérico fue transformado en el siglo XX por algoritmos de factorización ortogonal, especialmente el uso de QR y SVD liderado por Golub, que reemplazó el enfoque inestable de las ecuaciones normales en software de alta calidad.

Key figures

• Carl Friedrich Gauss
• Adrien-Marie Legendre
• Gene H. Golub
• Ake Bjorck

Seminal works

• bjorck1996
• trefethen1997

Frequently asked questions

¿Por qué no resolver directamente las ecuaciones normales?

Las ecuaciones normales implican el producto de la matriz de diseño con su transpuesta, lo que eleva al cuadrado el número de condición y puede degradar gravemente la precisión para problemas moderadamente mal condicionados. La resolución mediante QR o SVD funciona con la matriz original y es mucho más estable.

¿En qué se diferencia la aproximación por mínimos cuadrados de la aproximación minimax?

Los mínimos cuadrados minimizan la suma (o integral) de los errores al cuadrado, lo que distribuye el error y es sensible a los valores atípicos, mientras que minimax minimiza el error más grande. Los mínimos cuadrados conducen a ecuaciones lineales y son más fáciles de calcular; minimax produce un error uniformemente pequeño.