Gudang Data dan OLAP

Gudang data mengkonsolidasikan data dari banyak sumber ke dalam penyimpanan yang dioptimalkan untuk kueri guna analisis, dan pemrosesan analitis daring (OLAP) menyediakan model multidimensi dan operasi yang memungkinkan analis menjelajahi data tersebut secara interaktif.

Definition

Gudang data adalah repositori data historis terintegrasi yang terkonsolidasi dan dioptimalkan untuk kueri, yang diambil dari berbagai sumber operasional untuk analisis; OLAP adalah teknologi yang mengorganisasikan data tersebut ke dalam model multidimensi dan mendukung kueri agregat cepat serta eksplorasi interaktif.

Scope

Topik ini mencakup sisi analitis manajemen data: gudang data sebagai penyimpanan terintegrasi, berorientasi subjek yang terpisah dari sistem operasional; alur kerja ekstrak-transformasi-muat (ETL) yang mengisinya; pemodelan dimensional dengan skema bintang dan kepingan salju dari fakta dan dimensi; kubus data multidimensi dan operasi OLAP (roll-up, drill-down, slice, dice, pivot); dan kontras antara beban kerja analitis (OLAP) dan transaksional (OLTP). Ini tidak termasuk kontrol konkurensi transaksional dan penyimpanan NoSQL umum, yang merupakan topik terkait.

Core questions

• Bagaimana gudang data berbeda dari basis data operasional (OLTP)?
• Apa itu pemodelan dimensional, dan bagaimana skema bintang dan kepingan salju mengorganisasikan fakta dan dimensi?
• Bagaimana kubus data menggeneralisasi group-by dan mendukung analisis multidimensi?
• Apa yang dilakukan operasi OLAP roll-up, drill-down, slice, dice, dan pivot?
• Bagaimana proses ETL digunakan untuk mengintegrasikan dan memuat data gudang?

Key concepts

• gudang data
• ekstrak-transformasi-muat (ETL)
• skema bintang dan kepingan salju
• tabel fakta dan dimensi
• kubus data
• roll-up, drill-down, slice, dice, pivot
• tampilan terwujud (materialized views)
• OLAP versus OLTP

Key theories

Pemodelan dimensional

Gudang data umumnya dimodelkan dengan skema bintang dan kepingan salju di mana tabel fakta pusat pengukuran mereferensikan tabel dimensi di sekitarnya (waktu, produk, lokasi), mengoptimalkan kueri agregat yang banyak dibaca yang dijalankan analis.

Kubus data dan operasi OLAP

Operator kubus data menggeneralisasi group-by untuk menghitung agregat di semua kombinasi dimensi, mendukung roll-up, drill-down, slice, dice, dan pivot untuk analisis multidimensi interaktif.

Pemisahan OLAP dari OLTP

Beban kerja analitis memindai dan mengagregasi volume besar data historis, yang secara fundamental berbeda dari pembaruan transaksional singkat, memotivasi gudang terpisah, terintegrasi, dan dioptimalkan untuk pembacaan yang diisi oleh ETL dari sistem operasional.

Clinical relevance

Gudang data dan OLAP adalah fondasi intelijen bisnis: organisasi mengkonsolidasikan data operasional ke dalam gudang dan menggunakan OLAP untuk menganalisis penjualan, keuangan, dan operasi di berbagai dimensi seperti waktu, wilayah, dan produk, menjadikan teknologi ini sentral dalam pengambilan keputusan berbasis data.

History

Gudang data muncul pada awal 1990-an ketika organisasi memisahkan kueri analitis dari basis data operasional; pendekatan pemodelan dimensional Kimball dan pendekatan gudang perusahaan Inmon membentuk bidang ini. Operator kubus data (Gray et al., 1997) memformalkan agregasi multidimensi, dan tinjauan Chaudhuri dan Dayal tahun 1997 mengkonsolidasikan teknologi gudang dan OLAP yang mendasari platform analitik modern.

Key figures

• Surajit Chaudhuri
• Umeshwar Dayal
• Jim Gray
• Ralph Kimball

Seminal works

• chaudhuri1997
• gray1997
• kimball2013

Frequently asked questions

Apa perbedaan antara OLAP dan OLTP?

OLTP (online transaction processing) menangani banyak transaksi baca-tulis singkat, seperti melakukan pemesanan, dengan penekanan pada konsistensi dan pembaruan cepat. OLAP (online analytical processing) menangani kueri kompleks yang sebagian besar hanya membaca yang mengagregasi volume besar data historis untuk analisis. Gudang data dirancang untuk OLAP dan dipisahkan dari sistem OLTP yang memasoknya.

Mengapa menggunakan skema bintang daripada desain yang sepenuhnya dinormalisasi?

Kueri analitis biasanya menggabungkan tabel fakta besar dengan beberapa tabel dimensi dan mengagregasi. Skema bintang sengaja melakukan denormalisasi dimensi untuk meminimalkan gabungan dan membuat kueri agregat ini cepat dan intuitif. Redundansi yang akan dihilangkan oleh normalisasi dapat diterima di sini karena gudang data dimuat secara massal dan lebih sering dikueri daripada diperbarui.