Kleinste-Quadrate-Approximation
Die Kleinste-Quadrate-Approximation findet die Funktion oder den Parametervektor, der die Summe der quadrierten Residuen minimiert. Sie liefert die optimale Anpassung im euklidischen (L2) Sinne und ist das Standardwerkzeug zur Anpassung von Modellen an verrauschte oder überbestimmte Daten.
Definition
Die Kleinste-Quadrate-Approximation ist die Bestimmung des Elements einer gewählten Approximationsmenge, das die L2-Norm (Summe oder Integral der quadrierten Residuen) der Abweichung von einer Zielfunktion oder einem Datensatz minimiert.
Scope
Dieses Thema behandelt das lineare Kleinste-Quadrate-Problem, seine Charakterisierung durch die Normalengleichungen und orthogonale Projektion, die stabile Lösung mittels QR-Faktorisierung und Singulärwertzerlegung, die kontinuierliche L2-Approximation durch orthogonale Polynome sowie die Konditionierungsprobleme, die zuverlässige von unzuverlässigen Lösungsmethoden unterscheiden.
Core questions
- Wie wird die Kleinste-Quadrate-Lösung geometrisch als orthogonale Projektion charakterisiert?
- Warum lösen die Normalengleichungen das Problem prinzipiell, gefährden aber in der Praxis die Genauigkeit?
- Wie liefern QR-Faktorisierung und die SVD stabile Lösungen, und wann ist die SVD unerlässlich?
- Wie ermöglichen orthogonale Polynome eine gut konditionierte kontinuierliche Kleinste-Quadrate-Approximation?
Key theories
- Normalengleichungen und orthogonale Projektion
- Die Kleinste-Quadrate-Lösung macht das Residuum orthogonal zum Approximationsunterraum, was zu den Normalengleichungen führt; geometrisch ist die beste Approximation die orthogonale Projektion der Daten auf diesen Unterraum.
- Stabile Lösung mittels orthogonaler Faktorisierung
- Da die Bildung der Normalengleichungen die Konditionszahl quadriert, werden genaue Kleinste-Quadrate-Lösungen mittels QR-Faktorisierung oder, bei rangdefizienten oder nahezu singulären Problemen, mittels Singulärwertzerlegung und ihrer zugehörigen Pseudoinversen berechnet.
Mechanisms
Für ein diskretes überbestimmtes System reduziert eine QR-Faktorisierung der Designmatrix das Kleinste-Quadrate-Problem auf eine gut konditionierte Dreiecksmatrixlösung, wodurch die quadrierte Konditionierung der Normalengleichungen vermieden wird. Bei rangdefizienten Problemen liefert die SVD die Kleinste-Quadrate-Lösung mit minimaler Norm durch die Moore-Penrose-Pseudoinverse und deckt eine nahezu Rangdefizienz durch kleine Singulärwerte auf. Im kontinuierlichen Fall diagonalisiert die Entwicklung in orthogonalen Polynomen das Problem, sodass die Koeffizienten unabhängig als Skalarprodukte berechnet werden.
Clinical relevance
Die Kleinste-Quadrate-Methode ist das Rückgrat der Datenanpassung und Regression in den Natur- und Ingenieurwissenschaften, der Parameterschätzung und Kalibrierung, der Signal- und Bildrekonstruktion sowie der linearisierten Unterprobleme innerhalb der nichtlinearen Optimierung; ihre Konditionierungsanalyse leitet die Wahl der Regularisierung, wenn Daten verrauscht oder das Modell überparametrisiert ist.
History
Die Methode der kleinsten Quadrate wurde 1805 von Legendre veröffentlicht und von Gauss mit einer probabilistischen Begründung weiterentwickelt; ihre numerische Behandlung wurde im 20. Jahrhundert durch orthogonale Faktorisierungsalgorithmen revolutioniert, insbesondere durch die von Golub angeführte Verwendung von QR und der SVD, die den instabilen Normalengleichungsansatz in hochwertiger Software ersetzten.
Key figures
- Carl Friedrich Gauss
- Adrien-Marie Legendre
- Gene H. Golub
- Ake Bjorck
Related topics
Seminal works
- bjorck1996
- trefethen1997
Frequently asked questions
- Warum nicht einfach die Normalengleichungen direkt lösen?
- Die Normalengleichungen beinhalten das Produkt der Designmatrix mit ihrer Transponierten, was die Konditionszahl quadriert und die Genauigkeit bei mäßig schlecht konditionierten Problemen erheblich beeinträchtigen kann. Die Lösung mittels QR oder SVD arbeitet mit der ursprünglichen Matrix und ist wesentlich stabiler.
- Wie unterscheidet sich die Kleinste-Quadrate-Approximation von der Minimax-Approximation?
- Die Kleinste-Quadrate-Methode minimiert die Summe (oder das Integral) der quadrierten Fehler, was den Fehler verteilt und empfindlich auf Ausreißer reagiert, während Minimax den größten Fehler minimiert. Kleinste Quadrate führt zu linearen Gleichungen und ist einfacher zu berechnen; Minimax liefert einen gleichmäßig kleinen Fehler.