행렬 분해

행렬 분해는 행렬을 더 단순한 인자들(삼각 행렬, 직교 행렬 또는 대각 행렬)의 곱으로 표현하며, 이를 통해 해, 최소 제곱 적합 및 스펙트럼 정보를 안정적으로 읽어낼 수 있습니다.

Definition

행렬 분해는 특수한 구조를 가진 두 개 이상의 행렬의 곱으로 행렬을 표현하는 것으로, 시스템 해결, 데이터 적합, 랭크 또는 노름 계산과 같은 근본적인 문제들이 간단하고 수치적으로 안정적이 되도록 선택됩니다.

Scope

이 주제는 QR 분해(하우스홀더 반사 및 기븐스 회전 또는 그람-슈미트를 통해), 대칭 양의 정부호 행렬을 위한 촐레스키 분해, 특이값 분해와 함께 최소 제곱 문제, 랭크 결정 및 저랭크 근사에서의 사용을 다룹니다.

Core questions

• QR 분해는 조건이 나쁜 정규 방정식을 형성하지 않고 최소 제곱 문제를 어떻게 해결합니까?
• 촐레스키 분해는 언제 적용 가능하며, 대칭 양의 정부호 행렬에 대해 일반적인 LU 분해보다 왜 더 저렴하고 안정적입니까?
• 특이값 분해는 랭크, 노름 및 저랭크 근사에 대해 어떤 정보를 밝혀줍니까?
• 하우스홀더, 기븐스 또는 그람-슈미트 중 어떤 직교화 방식이 정확도를 가장 잘 보존합니까?

Key theories

QR 분해 및 직교화

모든 행렬은 직교 열을 가진 Q와 상삼각 행렬 R을 사용하여 A = QR로 쓸 수 있습니다. 하우스홀더 반사를 사용하여 계산될 때 후방 안정적이며 선형 최소 제곱 해법의 표준 경로를 제공합니다.

특이값 분해

모든 행렬은 U, V가 직교하고 S가 음이 아닌 특이값을 가진 대각 행렬인 A = U S V-전치로 분해됩니다. SVD는 랭크, 2-노름 및 조건수, 네 가지 기본 부분 공간, 그리고 에카르트-영 정리를 통한 최적의 저랭크 근사를 밝혀줍니다.

촐레스키 분해

대칭 양의 정부호 행렬은 하삼각 행렬 L을 사용하여 A = L L-전치로 분해됩니다. 이 분해는 안정성을 위해 피벗팅이 필요하지 않으며 일반적인 LU 분해의 약 절반 비용이 듭니다.

Mechanisms

하우스홀더 QR은 직교 반사를 사용하여 대각선 아래의 원소들을 한 번에 한 열씩 0으로 만들고, Q를 암묵적으로 누적합니다. 기븐스 회전은 개별 원소를 0으로 만들며 희소 행렬 또는 업데이트 상황에 적합합니다. 촐레스키는 대칭성과 양의 정부호성을 활용하여 L을 직접 계산합니다. SVD는 두 단계로 계산됩니다. 직교 변환에 의한 이중대각화 후 이중대각 형태의 반복적인 대각화를 통해 모든 중간 양이 잘 조건화되도록 유지합니다.

Clinical relevance

행렬 분해는 최소 제곱 데이터 적합, 주성분 분석 및 차원 축소, 역문제의 정규화, 추천 시스템, 모델 차수 축소의 핵심 동력이며, 특히 SVD는 고차원 데이터의 수학적으로 최적의 저랭크 요약을 제공합니다.

History

직교 분해의 체계적인 수치적 사용은 1950년대와 1960년대에 하우스홀더 반사와 SVD를 위한 골럽-카한 알고리즘과 함께 발전했습니다. 이는 특이값 분해를 이론적인 도구에서 일상적으로 계산 가능한 도구로 바꾸어 최소 제곱 및 데이터 분석의 핵심으로 만들었습니다.

Key figures

• Alston S. Householder
• Gene H. Golub
• William Kahan

Seminal works

• trefethen1997
• golub2013

Frequently asked questions

최소 제곱에 정규 방정식 대신 QR을 사용하는 이유는 무엇입니까?

정규 방정식을 형성하면 행렬의 조건수가 제곱되어 정확도를 손상시킬 수 있습니다. QR 분해는 직교 변환을 통해 원래 행렬로 작업하며 후방 안정적이므로 더 신뢰할 수 있는 최소 제곱 해법을 제공합니다.

SVD가 널리 사용되는 이유는 무엇입니까?

SVD는 랭크, 노름, 조건수, 그리고 행렬의 최적 저랭크 근사를 동시에 밝혀주며, 이 모든 것은 수치적으로 잘 동작하는 직교 인자를 통해 이루어집니다. 이것이 데이터 압축, 노이즈 제거 및 차원 축소의 기반이 되는 이유입니다.