部分最小二乗回帰

部分最小二乗回帰は、予測変数から応答変数との共分散が高い少数の潜在成分を構築し、予測変数が多数で共線性がある場合に予測を可能にします。

Definition

部分最小二乗回帰は、応答変数との共分散を最大化するように選択された予測変数の線形結合として直交潜在成分を抽出し、これらの成分に応答変数を回帰させる手法です。

Scope

このトピックでは、予測変数ブロックと応答変数ブロック間の共分散を最大化することによる潜在成分の構築、主成分回帰および通常の最小二乗法との対比、多数の相関する予測変数または高次元の予測変数の処理、交差検定による成分数の選択、および化学計測学におけるこの手法の顕著な役割について説明します。

Core questions

• 多数の高度に相関する予測変数がある場合、応答変数をどのように予測できますか？
• 共分散に基づく成分抽出は、分散に基づく主成分とどのように異なりますか？
• いくつの潜在成分を保持すべきですか？
• この手法が化学計測学の中心であるのはなぜですか？

Key theories

共分散を最大化する成分

予測変数の分散を最大化する成分を抽出する主成分回帰とは異なり、部分最小二乗法は応答変数との共分散を最大化する成分を抽出し、予測に向けて次元削減を行います。

潜在構造に基づく回帰

元の予測変数ではなく、抽出された少数の潜在成分に応答変数を回帰させることで、予測変数に共線性がある場合や、観測数よりも予測変数が多い場合に推定を安定させることができます。

Clinical relevance

部分最小二乗回帰は、化学計測学の主力であり、分光法、ゲノミクス、その他多くの相関する予測変数と少数のサンプルがある設定で広く使用されており、通常の最小二乗法が不安定な場合に特に有用です。

History

部分最小二乗法は、ハーマン・ウォルドの反復推定法に端を発し、スヴァンテ・ウォルドとその同僚によって化学計測学のための回帰ツールとして開発されました。高次元で共線性のあるスペクトルデータにおいて特に価値があることが示されました。

Debates

潜在成分の解釈

潜在成分はすべての予測変数の組み合わせであり、解釈が難しい場合があります。また、高次元予測における部分最小二乗法とペナルティ付き回帰手法の相対的な利点については議論があります。

Key figures

• Herman Wold
• Svante Wold

Seminal works

• hastie2009
• wold2001
• johnson2007

Frequently asked questions

PLSは主成分回帰とどう異なりますか？

主成分回帰は予測変数の分散のみを説明する成分を選択しますが、部分最小二乗法は応答変数との共分散も高い成分を選択するため、より少ない成分でより良い予測が得られることがよくあります。

PLSはどのような場合に特に有用ですか？

分光データやゲノムデータのように、予測変数が高度に共線性を持つ場合や、観測数よりもはるかに多い場合で、通常の最小二乗法が信頼性をもって適用できない場合に特に有用です。