Décompositions matricielles en statistique

Les décompositions matricielles factorisent une matrice en facteurs structurés plus simples et, en statistique, elles constituent le mécanisme stable et efficace sous-jacent à la régression, à la modélisation de la covariance et à la réduction de dimension.

Definition

Les décompositions matricielles en statistique sont des factorisations de matrices de plan d'expérience, de covariance et de matrices apparentées en composantes structurées, telles que des facteurs triangulaires, orthogonaux ou diagonaux, qui rendent les calculs statistiques numériquement stables et efficaces.

Scope

Ce sujet aborde la factorisation de Cholesky pour les matrices de covariance et de précision, la décomposition QR pour les moindres carrés, la décomposition en valeurs singulières et ses utilisations statistiques dans l'analyse en composantes principales et les problèmes de rang déficient, ainsi que la décomposition en valeurs propres des matrices de covariance symétriques. L'accent est mis sur la manière dont chaque factorisation sert un calcul statistique.

Core questions

• Comment la factorisation de Cholesky soutient-elle les calculs de covariance et de précision ?
• Pourquoi la décomposition QR est-elle la voie stable vers les estimations des moindres carrés ?
• Comment la décomposition en valeurs singulières sous-tend-elle l'analyse en composantes principales et gère-t-elle le rang déficient ?
• Comment la décomposition en valeurs propres d'une matrice de covariance révèle-t-elle sa structure ?

Key concepts

• Factorisation de Cholesky
• Décomposition QR
• Décomposition en valeurs singulières
• Décomposition en valeurs propres
• Définition positive
• Rang déficient

Key theories

Factorisations triangulaires et orthogonales

La factorisation de Cholesky d'une matrice de covariance définie positive et la décomposition QR d'une matrice de plan d'expérience fournissent des solutions stables et efficaces aux systèmes linéaires et aux problèmes de moindres carrés qui sont au cœur de l'estimation statistique.

Décompositions spectrales et en valeurs singulières

La décomposition en valeurs propres d'une matrice de covariance et la décomposition en valeurs singulières d'une matrice de données exposent les directions principales et les rangs, fondant l'analyse en composantes principales et le traitement des problèmes colinéaires ou de rang déficient.

Clinical relevance

Les décompositions rendent l'échantillonnage de covariance, les moindres carrés généralisés, l'analyse en composantes principales et la régression ridge à la fois réalisables et stables ; le facteur de Cholesky, par exemple, est utilisé pour simuler des variables normales corrélées et pour évaluer efficacement les vraisemblances normales multivariées.

History

Les factorisations classiques développées en algèbre linéaire numérique, en particulier les décompositions QR et en valeurs singulières, ont été adoptées par les statisticiens à la fin du XXe siècle comme fondement stable pour la régression, l'analyse multivariée et la réduction de dimension.

Key figures

• Gene Golub
• Charles Van Loan
• André-Louis Cholesky
• Carl Eckart

Seminal works

• golub2013
• monahan2011

Frequently asked questions

Pourquoi la factorisation de Cholesky est-elle si courante en statistique ?

Les matrices de covariance et de précision sont symétriques définies positives, ce qui est précisément la structure exploitée par la factorisation de Cholesky. Elle offre un moyen efficace de résoudre des systèmes, d'évaluer des densités normales multivariées et de simuler des variables corrélées.

Que fait la décomposition en valeurs singulières pour l'analyse en composantes principales ?

L'application de la décomposition en valeurs singulières à une matrice de données centrée fournit directement les composantes principales et la variance expliquée par chacune, de manière numériquement stable et gérant élégamment les données de rang déficient ou colinéaires.