Çekirdek PCA
Kernel Principal Component Analysis · Ayrıca şöyle bilinir: KPCA, kernel PCA, nonlinear PCA via kernel trick, kernel eigenvalue decomposition
Çekirdek Temel Bileşen Analizi (Çekirdek PCA), Bernhard Schölkopf, Alexander Smola ve Klaus-Robert Müller tarafından 1997-1998 yıllarında tanıtılan doğrusal olmayan bir boyut azaltma yöntemidir. Klasik doğrusal PCA'yı, girdi verilerini bir çekirdek fonksiyonu aracılığıyla örtük olarak yüksek boyutlu bir özellik uzayına haritalayarak ve ardından bu uzayda standart PCA gerçekleştirerek eğri, doğrusal olmayan veri manifoldlarına genişletir - tüm bunlar eşlemeyi açıkça hesaplamadan.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Verinin varyans yapısının doğrusal olmadığı - örneğin sınıflar iç içe halkalar, eğri manifoldlar veya standart PCA'nın ayıramadığı konfigürasyonlarda düzenlendiğinde - uygun olduğunda Çekirdek PCA kullanılır. Ham özellik uzayının doğrusal olarak ayrılamadığı durumlarda, doğrusal bir sınıflandırıcıdan önce bir ön işleme veya özellik çıkarma adımı olarak doğal bir seçimdir. Temel gereksinimler ve varsayımlar: (1) alanın gerçek benzerlik yapısını yansıtan bir çekirdek fonksiyonu seçilmeli ve ayarlanmalıdır; (2) yöntem yalnızca okunabilir bir gömme üretir - PCA'dan farklı olarak kapalı formda ters dönüşüm yoktur, bu da yeniden yapılandırmayı önemsiz hale getirir; (3) hesaplama maliyeti özdeğer ayrışımı için O(n^3) ve test noktası projeksiyonu başına O(n)'dir, bu nedenle Nyström örneklemesi gibi yaklaşımlar kullanılmadıkça çok büyük veri kümeleri (n yaklaşık 10.000'in üzerinde) için pahalı hale gelir; (4) tutulan bileşen sayısı d seçilmelidir, genellikle özdeğer spektrumu incelenerek.
Güçlü yönler & sınırlılıklar
- Doğrusal PCA'nın ortaya çıkaramadığı doğrusal olmayan varyans yapısını yakalar, geometrik olarak karmaşık veri dağılımlarının ayrılmasını sağlar.
- Tam çekirdekleştirme: çekirdek hilesi, yöntemin açık bir özellik haritalama hesaplaması olmadan, n × n çekirdek değerlendirmeleri maliyetinde keyfi olarak yüksek boyutlu özellik uzaylarında çalıştığı anlamına gelir.
- Çekirdek seçimi esnektir - RBF, polinom, sigmoid ve özel alan çekirdekleri uygulanabilir, bu da yöntemin belirli veri geometrilerine göre uyarlanmasına olanak tanır.
- Örnek dışı uzantı basittir: yeni noktalar, yeniden uydurma yapmadan eğitim noktalarına karşı aynı çekirdek değerlendirmeleri kullanılarak yansıtılır.
- Doğrusal yöntemler (PCA, LDA) ve doğrusal olmayan manifold öğrenme yöntemleri (Isomap, LLE, t-SNE) arasında teorik olarak ilkeli bir köprü görevi görür.
- Hesaplama ve bellek maliyeti, depolamada O(n^2) ve özdeğer ayrışımında O(n^3) olarak ölçeklenir, bu da tam Çekirdek PCA'yı yaklaşım olmadan çok büyük veri kümeleri için pratik olmaktan çıkarır.
- Kapalı formda bir ön görüntü (ters) haritası yoktur, bu nedenle çekirdek temel bileşenlerinden girdi uzayındaki veriyi yeniden yapılandırmak, iteratif yaklaşım gerektiren iyi tanımlanmamış bir problemdir.
- Çekirdek ve hiperparametre seçimi (örneğin, bir RBF çekirdeğinin bant genişliği σ), otomatik değildir ve gömme kalitesini güçlü bir şekilde etkileyebilir; çapraz doğrulama gereklidir.
- Yöntem denetimsizdir ve bileşenleri sınıf yapısıyla hizalamak için doğrudan bir mekanizmaya sahip değildir - ayrımcı görevler için denetimli varyantlar veya takip eden sınıflandırıcılar gereklidir.
- Özdeğerler ve bileşenler, girdi uzayı birimlerinde yorumlanabilir değildir, bu da klasik PCA'nın yaptığı gibi 'yüklerin' doğrudan bilimsel raporlamasını sınırlar.
SSS
Hangi çekirdeği seçmeliyim?
Evrensel olarak en iyi çekirdek yoktur. Bant genişliği σ olan Gauss (RBF) çekirdeği en yaygın varsayılan değerdir ve verinin yerel geometrisi yaklaşık olarak izotropik olduğunda iyi çalışır. Polinom çekirdekleri, bilinen polinom etkileşimleri olan veriler için uygundur. En iyi pratik strateji, çapraz doğrulanmış bant genişliği/derece seçimi ile iki veya üç çekirdek denemek ve sonuçta ortaya çıkan gömmelerin yapısını görsel olarak ve aşağı akış görev performansına göre karşılaştırmaktır.
Çekirdek PCA, t-SNE veya UMAP'tan nasıl farklıdır?
Çekirdek PCA, çekirdek özellik uzayında doğrusal bir projeksiyon üretir ve çekirdek projeksiyon formülü aracılığıyla tam örnek dışı uzantıyı destekler, bu da onu prensipte tekrarlanabilir ve tersine çevrilebilir hale getirir. t-SNE ve UMAP, komşuluk koruma hedeflerini optimize eder ve görselleştirmede mükemmeldir, ancak yeni noktalar için sabit bir eşleme sağlamazlar (uzantılar olmadan) ve bir sınıflandırıcıdan önce özellik çıkarma için tasarlanmamışlardır. Çekirdek PCA daha teorik olarak ilkeli ancak genellikle t-SNE kadar dramatik görsel küme ayrımı sağlamaz.
Çekirdek PCA orijinal veriyi yeniden yapılandırabilir mi?
Doğrudan değil. Özellik uzayına projeksiyon örtüktür ve girdi uzayında kapalı formda bir ön görüntü yoktur. Yaklaşık ön görüntü yöntemleri mevcuttur (örneğin, özellik uzayındaki artıkların minimizasyonunu sabit nokta yinelemesi), ancak bunlar yinelemelidir ve kararsız olabilir. Yeniden yapılandırma birincil gereksinimse, otokodlayıcılar veya VAE'ler daha iyi seçimlerdir.
Büyük veri kümeleriyle nasıl başa çıkılır?
Tam Çekirdek PCA, n × n bir matrisin depolanmasını ve ayrıştırılmasını gerektirir, bu da standart donanımda n yaklaşık 10.000'in üzerinde olduğunda uygulanamaz. Nyström yaklaşımı, m noktanın (m ≪ n) bir işaret noktası alt kümesini seçer ve tam çekirdek matrisini m × n alt matrisinden yaklaştırır, maliyeti bellekte O(m·n) ve hesaplamada O(m^2·n)'ye düşürür. Rastgele Fourier özellikleri (Rahimi & Recht 2007), kaymaya-değişmez çekirdeklerin açık düşük boyutlu bir yaklaşımını sunar.
Kaynaklar
- Schölkopf, B., Smola, A. J., & Müller, K.-R. (1998). Nonlinear component analysis as a kernel eigenvalue problem. Neural Computation, 10(5), 1299–1319. DOI: 10.1162/089976698300017467 ↗
- Schölkopf, B., Smola, A. J., & Müller, K.-R. (1997). Kernel principal component analysis. In Artificial Neural Networks — ICANN'97, Lecture Notes in Computer Science, Vol. 1327, pp. 583–588. Springer. DOI: 10.1007/BFb0020217 ↗
- Schölkopf, B., & Smola, A. J. (2002). Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press. ISBN: 978-0-262-19475-4
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Kernel Principal Component Analysis. ScholarGate. https://scholargate.app/tr/machine-learning/kernel-pca
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Otomatik kodlayıcıDerin öğrenme↔ karşılaştır
- IsomapMakine öğrenmesi↔ karşılaştır
- Yerel Doğrusal Gömme (LLE)Makine öğrenmesi↔ karşılaştır
- Destek Vektör Makinesi (Sınıflandırma)Makine öğrenmesi↔ karşılaştır
- t-SNEMakine öğrenmesi↔ karşılaştır