Régression par les moindres carrés partiels
La régression par les moindres carrés partiels construit un petit nombre de composantes latentes à partir des prédicteurs qui présentent une covariance élevée avec les réponses, permettant ainsi la prédiction lorsque les prédicteurs sont nombreux et colinéaires.
Definition
La régression par les moindres carrés partiels est une méthode qui extrait des composantes latentes orthogonales sous forme de combinaisons linéaires des prédicteurs, choisies pour maximiser leur covariance avec les réponses, et régresse les réponses sur ces composantes.
Scope
Ce sujet couvre la construction de composantes latentes en maximisant la covariance entre les blocs de prédicteurs et de réponses, le contraste avec la régression sur composantes principales et les moindres carrés ordinaires, la gestion de nombreux prédicteurs corrélés ou de haute dimension, la sélection du nombre de composantes par validation croisée, et le rôle prépondérant de la méthode en chimiométrie.
Core questions
- Comment les réponses peuvent-elles être prédites lorsqu'il existe de nombreux prédicteurs fortement corrélés ?
- En quoi l'extraction de composantes basée sur la covariance diffère-t-elle des composantes principales basées sur la variance ?
- Combien de composantes latentes devraient être retenues ?
- Pourquoi cette méthode est-elle centrale en chimiométrie ?
Key theories
- Composantes maximisant la covariance
- Contrairement à la régression sur composantes principales, qui extrait des composantes de variance maximale des prédicteurs, les moindres carrés partiels extraient des composantes de covariance maximale avec les réponses, orientant la réduction vers la prédiction.
- Régression sur les structures latentes
- En régressant les réponses sur quelques composantes latentes extraites plutôt que sur les prédicteurs originaux, la méthode stabilise l'estimation lorsque les prédicteurs sont colinéaires ou plus nombreux que les observations.
Clinical relevance
La régression par les moindres carrés partiels est l'outil principal de la chimiométrie et est largement utilisée en spectroscopie, en génomique et dans d'autres contextes où il y a de nombreux prédicteurs corrélés et peu d'échantillons, et où les moindres carrés ordinaires sont instables.
History
Les moindres carrés partiels ont leurs origines dans les méthodes d'estimation itératives de Herman Wold et ont été développés par Svante Wold et ses collègues en un outil de régression pour la chimiométrie, où les données spectrales de haute dimension et colinéaires les ont rendus particulièrement précieux.
Debates
- Interprétation des composantes latentes
- Les composantes latentes sont des combinaisons de tous les prédicteurs et peuvent être difficiles à interpréter, et les mérites relatifs des moindres carrés partiels par rapport aux méthodes de régression pénalisée pour la prédiction en haute dimension sont débattus.
Key figures
- Herman Wold
- Svante Wold
Related topics
Seminal works
- hastie2009
- wold2001
- johnson2007
Frequently asked questions
- En quoi la PLS diffère-t-elle de la régression sur composantes principales ?
- La régression sur composantes principales choisit des composantes qui expliquent la variance des prédicteurs seule, tandis que les moindres carrés partiels choisissent des composantes qui présentent également une covariance élevée avec les réponses, offrant souvent une meilleure prédiction avec moins de composantes.
- Quand la PLS est-elle particulièrement utile ?
- Lorsque les prédicteurs sont fortement colinéaires ou beaucoup plus nombreux que les observations, comme dans les données spectroscopiques et génomiques, où les moindres carrés ordinaires ne peuvent pas être appliqués de manière fiable.