Reduksi Dimensi

Reduksi dimensi mencakup metode multivariat yang meringkas banyak variabel yang berkorelasi dengan sejumlah kecil kuantitas turunan, menjaga struktur sebanyak mungkin sambil mempermudah interpretasi dan visualisasi.

Definition

Reduksi dimensi adalah konstruksi representasi berdimensi lebih rendah dari data multivariat yang mempertahankan kriteria informasi yang dipilih, seperti varians, kesalahan rekonstruksi, jarak berpasangan, atau korelasi antar-set.

Scope

Area ini mencakup teknik-teknik yang memetakan observasi berdimensi tinggi ke dalam ruang berdimensi lebih rendah. Ini termasuk proyeksi linear yang memaksimalkan varians (analisis komponen utama), model faktor laten untuk kovarians bersama (analisis faktor), penyematan yang menjaga jarak (skala multidimensional), dan metode yang secara bersamaan mengurangi dua set variabel dengan memaksimalkan korelasi silang (analisis korelasi kanonik). Penekanan diberikan pada pendekatan linear dan klasik yang membentuk dasar disiplin ilmu; pembelajaran manifold non-linear diperlakukan sebagai perluasan.

Sub-topics

• Canonical Correlation Analysis
• Factor Analysis
• Multidimensional Scaling
• Principal Component Analysis

Core questions

• Bagaimana satu set besar pengukuran yang berkorelasi dapat digantikan oleh beberapa variabel turunan yang tidak berkorelasi dengan kehilangan informasi yang minimal?
• Kapan pelestarian varians, pelestarian jarak, atau penjelasan faktor laten harus menjadi kriteria reduksi?
• Berapa banyak dimensi yang dibutuhkan untuk merepresentasikan data secara memadai?
• Bagaimana representasi yang direduksi mendukung visualisasi, penghilangan derau, dan pemodelan hilir?

Key theories

Proyeksi linear yang memaksimalkan varians

Sumbu utama terkemuka adalah arah ortonormal yang secara berurutan menangkap varians maksimal, setara dengan vektor eigen dari matriks kovarians dan dengan perkiraan kuadrat terkecil peringkat rendah terbaik dari data.

Model faktor umum laten

Korelasi yang diamati antar variabel dijelaskan oleh sejumlah faktor umum yang tidak teramati yang lebih kecil ditambah keunikan spesifik variabel, menguraikan struktur kovarians menjadi bagian yang bersama dan unik.

Clinical relevance

Reduksi dimensi mendasari analisis data eksplorasi, visualisasi data, penghilangan derau sinyal, kompresi, dan prapemrosesan fitur untuk regresi dan klasifikasi di berbagai bidang mulai dari genomik hingga ekonometrik dan analisis citra.

History

Pandangan yang memaksimalkan varians berasal dari formulasi geometris Pearson tahun 1901 tentang garis dan bidang dengan kecocokan terdekat, dan dikembangkan menjadi metode statistik modern komponen utama oleh Hotelling pada tahun 1933. Analisis faktor berkembang secara paralel dari psikometrik, dan penskalaan berbasis jarak serta korelasi kanonik menyusul, terkonsolidasi menjadi perlakuan terpadu reduksi dimensi yang ditemukan dalam teks multivariat pertengahan abad kedua puluh.

Key figures

• Karl Pearson
• Harold Hotelling

Seminal works

• pearson1901
• mardia1979
• johnson2007

Frequently asked questions

Apa perbedaan antara reduksi dimensi dan pemilihan variabel?

Pemilihan variabel mempertahankan subset dari variabel asli, sedangkan reduksi dimensi biasanya membangun variabel turunan baru (seperti komponen atau faktor) yang merupakan kombinasi dari semua variabel asli.

Apakah reduksi dimensi selalu linear?

Tidak. Metode inti klasik bersifat linear, tetapi tujuan yang sama dikejar oleh teknik pembelajaran manifold dan penyematan non-linear; metode linear tetap fundamental dan dapat diinterpretasikan.