Matrixzerlegungen in der Statistik

Matrixzerlegungen zerlegen eine Matrix in einfachere, strukturierte Faktoren, und in der Statistik bilden sie die stabile, effiziente Grundlage für Regression, Kovarianzmodellierung und Dimensionsreduktion.

Definition

Matrixzerlegungen in der Statistik sind Faktorisierungen von Design-, Kovarianz- und verwandten Matrizen in strukturierte Komponenten, wie z. B. Dreiecks-, orthogonale oder diagonale Faktoren, die statistische Berechnungen numerisch stabil und effizient machen.

Scope

Dieses Thema behandelt die Cholesky-Zerlegung für Kovarianz- und Präzisionsmatrizen, die QR-Zerlegung für die Methode der kleinsten Quadrate, die Singulärwertzerlegung und ihre statistischen Anwendungen in der Hauptkomponentenanalyse und bei Problemen mit Rangdefizienz sowie die Eigenwertzerlegung symmetrischer Kovarianzmatrizen. Der Fokus liegt darauf, wie jede Faktorisierung einer statistischen Berechnung dient.

Core questions

• Wie unterstützt die Cholesky-Zerlegung Kovarianz- und Präzisionsberechnungen?
• Warum ist die QR-Zerlegung der stabile Weg zu Kleinste-Quadrate-Schätzungen?
• Wie untermauert die Singulärwertzerlegung die Hauptkomponentenanalyse und behandelt Rangdefizienz?
• Wie offenbart die Eigenwertzerlegung einer Kovarianzmatrix ihre Struktur?

Key concepts

• Cholesky-Zerlegung
• QR-Zerlegung
• Singulärwertzerlegung
• Eigenwertzerlegung
• Positiv-Definitheit
• Rangdefizienz

Key theories

Dreiecks- und orthogonale Faktorisierungen

Die Cholesky-Zerlegung einer positiv definiten Kovarianzmatrix und die QR-Zerlegung einer Designmatrix liefern stabile, effiziente Lösungen für die linearen Systeme und Kleinste-Quadrate-Probleme, die das Herzstück der statistischen Schätzung bilden.

Spektral- und Singulärwertzerlegungen

Die Eigenwertzerlegung einer Kovarianzmatrix und die Singulärwertzerlegung einer Datenmatrix legen Hauptrichtungen und Ränge offen und bilden die Grundlage für die Hauptkomponentenanalyse und die Behandlung von kollinearen oder rangdefizienten Problemen.

Clinical relevance

Zerlegungen machen Kovarianz-Sampling, verallgemeinerte kleinste Quadrate, Hauptkomponentenanalyse und Ridge-Regression sowohl machbar als auch stabil; der Cholesky-Faktor wird beispielsweise verwendet, um korrelierte Normalvariablen zu simulieren und multivariate Normalverteilungswahrscheinlichkeiten effizient zu bewerten.

History

Die klassischen Faktorisierungen, die in der numerischen linearen Algebra entwickelt wurden, insbesondere die QR- und Singulärwertzerlegungen, wurden von Statistikern im späten zwanzigsten Jahrhundert als stabile Grundlage für Regression, multivariate Analyse und Dimensionsreduktion übernommen.

Key figures

• Gene Golub
• Charles Van Loan
• André-Louis Cholesky
• Carl Eckart

Seminal works

• golub2013
• monahan2011

Frequently asked questions

Warum ist die Cholesky-Zerlegung in der Statistik so verbreitet?

Kovarianz- und Präzisionsmatrizen sind symmetrisch positiv definit, was genau die Struktur ist, die die Cholesky-Zerlegung ausnutzt. Sie bietet eine effiziente Möglichkeit, Systeme zu lösen, multivariate Normaldichten zu bewerten und korrelierte Variablen zu simulieren.

Was leistet die Singulärwertzerlegung für die Hauptkomponentenanalyse?

Die Anwendung der Singulärwertzerlegung auf eine zentrierte Datenmatrix liefert direkt die Hauptkomponenten und die von jeder erklärte Varianz, auf eine numerisch stabile Weise, die auch rangdefiziente oder kollineare Daten elegant behandelt.