En Küçük Kareler Yaklaşımı
En küçük kareler yaklaşımı, kareli kalıntıların toplamını minimize eden fonksiyonu veya parametre vektörünü bulur. Bu yöntem, Öklid (L2) anlamında en uygun uyumu sağlamakta ve gürültülü veya aşırı belirlenmiş verilere modelleri uydurmak için standart bir araç olarak kullanılmaktadır.
Tanım
En küçük kareler yaklaşımı, bir hedef fonksiyondan veya veri kümesinden olan sapmanın L2 normunu (kareli kalıntıların toplamı veya integrali) minimize eden, seçilmiş bir yaklaştırma kümesinin elemanının belirlenmesidir.
Kapsam
Bu konu, doğrusal en küçük kareler problemini, normal denklemler ve ortogonal izdüşüm aracılığıyla karakterizasyonunu, QR çarpanlara ayırma ve tekil değer ayrışımı ile kararlı çözümünü, ortogonal polinomlar aracılığıyla sürekli L2 yaklaşımını ve güvenilir çözüm yöntemlerini güvenilmez olanlardan ayıran koşullandırma (conditioning) sorunlarını kapsamaktadır.
Temel sorular
- En küçük kareler çözümü geometrik olarak ortogonal bir izdüşüm olarak nasıl karakterize edilir?
- Normal denklemler prensipte problemi çözerken pratikte doğruluğu neden tehdit etmektedir?
- QR çarpanlara ayırma ve SVD nasıl kararlı çözümler sağlar ve SVD ne zaman temeldir?
- Ortogonal polinomlar sürekli en küçük kareler yaklaşımını nasıl iyi koşullandırılmış hale getirir?
Temel kuramlar
- Normal denklemler ve ortogonal izdüşüm
- En küçük kareler çözümü, kalıntıyı yaklaştıran alt uzaya ortogonal hale getirir, bu da normal denklemleri verir; geometrik olarak en iyi yaklaşım, verinin o alt uzay üzerine ortogonal izdüşümüdür.
- Ortogonal çarpanlara ayırma yoluyla kararlı çözüm
- Normal denklemleri oluşturmak koşul sayısını karelediği için, doğru en küçük kareler çözümleri QR çarpanlara ayırma yoluyla veya rank eksikliği olan ya da tekil duruma yakın problemler için tekil değer ayrışımı ve ilişkili sözde tersi aracılığıyla hesaplanmaktadır.
Mekanizmalar
Ayrık aşırı belirlenmiş bir sistem için, tasarım matrisinin QR çarpanlara ayrılması, en küçük kareler problemini iyi koşullandırılmış bir üçgensel çözüme indirgemekte ve normal denklemlerin karesel koşullandırmasını önlemektedir. Rank eksikliği olan problemler için, SVD (Singular Value Decomposition) Moore-Penrose sözde tersi aracılığıyla minimum normlu en küçük kareler çözümünü vermekte ve küçük tekil değerler aracılığıyla rank eksikliğine yakın durumları ortaya koymaktadır. Sürekli durumda, ortogonal polinomlarla açılım yapmak problemi köşegenleştirmekte, böylece katsayılar iç çarpımlar olarak bağımsız bir şekilde hesaplanmaktadır.
Klinik önem
En küçük kareler, bilim ve mühendislik alanlarında veri uydurma ve regresyonun, parametre tahmini ve kalibrasyonun, sinyal ve görüntü yeniden yapılandırmanın ve doğrusal olmayan optimizasyon içindeki doğrusallaştırılmış alt problemlerin temelini oluşturmaktadır; koşullandırma analizi, verilerin gürültülü olduğu veya modelin aşırı parametrelendirildiği durumlarda düzenlileştirme (regularization) seçimlerine rehberlik etmektedir.
Tarihçe
En küçük kareler yöntemi 1805 yılında Legendre tarafından yayımlanmış ve Gauss tarafından olasılıksal bir gerekçeyle geliştirilmiştir; sayısal uygulaması yirminci yüzyılda ortogonal çarpanlara ayırma algoritmaları, özellikle Golub liderliğindeki QR ve SVD kullanımı ile dönüşüme uğramış, bu sayede yüksek kaliteli yazılımlarda kararsız normal denklemler yaklaşımının yerini almıştır.
Öne çıkan isimler
- Carl Friedrich Gauss
- Adrien-Marie Legendre
- Gene H. Golub
- Ake Bjorck
İlgili konular
Temel eserler
- bjorck1996
- trefethen1997
Sıkça sorulan sorular
- Neden doğrudan normal denklemleri çözmüyoruz?
- Normal denklemler, tasarım matrisinin kendi transpozu ile çarpımını içerir, bu da koşul sayısını kareler ve orta derecede kötü koşullandırılmış problemler için doğruluğu ciddi şekilde düşürebilir. QR veya SVD aracılığıyla çözüm, orijinal matrisle çalışır ve çok daha kararlıdır.
- En küçük kareler yaklaşımı, minimax yaklaşımdan nasıl farklıdır?
- En küçük kareler, kareli hataların toplamını (veya integralini) minimize eder, bu da hatayı yayar ve aykırı değerlere karşı hassastır; oysa minimax en büyük hatayı minimize eder. En küçük kareler doğrusal denklemlere yol açar ve hesaplaması daha kolaydır; minimax ise tekdüze küçük hata verir.