부분 최소 제곱 회귀

부분 최소 제곱 회귀는 예측 변수로부터 반응 변수와 높은 공분산을 갖는 소수의 잠재 구성요소를 구축하여, 예측 변수가 많고 공선성이 있을 때 예측을 가능하게 합니다.

Definition

부분 최소 제곱 회귀는 예측 변수의 선형 조합으로 직교 잠재 구성요소를 추출하는 방법으로, 반응 변수와의 공분산을 최대화하도록 선택되며, 이 구성요소들에 반응 변수를 회귀시킵니다.

Scope

이 주제는 예측 변수와 반응 변수 블록 간의 공분산을 최대화하여 잠재 구성요소를 구성하는 방법, 주성분 회귀 및 일반 최소 제곱법과의 대비, 다수의 상관되거나 고차원 예측 변수 처리, 교차 검증을 통한 구성요소 수 선택, 그리고 화학 계측학에서 이 방법의 중요한 역할에 대해 다룹니다.

Core questions

• 매우 상관된 예측 변수가 많을 때 반응 변수를 어떻게 예측할 수 있습니까?
• 공분산 기반 구성요소 추출이 분산 기반 주성분과 어떻게 다릅니까?
• 몇 개의 잠재 구성요소를 유지해야 합니까?
• 이 방법이 화학 계측학에서 왜 중요합니까?

Key theories

공분산 최대화 구성요소

예측 변수의 최대 분산을 설명하는 구성요소를 추출하는 주성분 회귀와 달리, 부분 최소 제곱법은 반응 변수와의 최대 공분산을 갖는 구성요소를 추출하여 예측 방향으로 차원 축소를 유도합니다.

잠재 구조에 대한 회귀

원래 예측 변수 대신 추출된 소수의 잠재 구성요소에 반응 변수를 회귀시킴으로써, 예측 변수가 공선성이 있거나 관측치보다 많을 때 추정의 안정성을 높입니다.

Clinical relevance

부분 최소 제곱 회귀는 화학 계측학의 핵심 도구이며, 분광학, 유전체학 및 기타 많은 상관된 예측 변수와 적은 표본을 가진 환경에서 널리 사용됩니다. 이러한 환경에서는 일반 최소 제곱법이 불안정할 수 있습니다.

History

부분 최소 제곱법은 Herman Wold의 반복 추정 방법에서 유래했으며, Svante Wold와 동료들에 의해 화학 계측학을 위한 회귀 도구로 개발되었습니다. 고차원적이고 공선적인 스펙트럼 데이터가 이 방법의 가치를 특히 높였습니다.

Debates

잠재 구성요소의 해석

잠재 구성요소는 모든 예측 변수의 조합이므로 해석하기 어려울 수 있으며, 고차원 예측을 위한 부분 최소 제곱법과 페널티 회귀 방법의 상대적 장점에 대해서는 논쟁이 있습니다.

Key figures

• Herman Wold
• Svante Wold

Seminal works

• hastie2009
• wold2001
• johnson2007

Frequently asked questions

PLS는 주성분 회귀와 어떻게 다릅니까?

주성분 회귀는 예측 변수의 분산만을 설명하는 구성요소를 선택하는 반면, 부분 최소 제곱법은 반응 변수와 높은 공분산을 갖는 구성요소를 선택하여, 더 적은 구성요소로 더 나은 예측을 제공하는 경우가 많습니다.

PLS는 언제 특히 유용합니까?

예측 변수가 고도로 공선성이 있거나 관측치보다 훨씬 많은 경우, 예를 들어 분광학 및 유전체 데이터와 같이 일반 최소 제곱법을 신뢰할 수 없게 적용할 수 없는 경우에 특히 유용합니다.