บิ๊กดาต้าและระบบ NoSQL

ระบบบิ๊กดาต้าและ NoSQL เป็นเทคโนโลยีการจัดการข้อมูลที่สร้างขึ้นเพื่อรองรับปริมาณ ความเร็ว และความหลากหลายของข้อมูลที่ฐานข้อมูลเชิงสัมพันธ์ประสบปัญหา โดยแลกเปลี่ยนการรับประกันเชิงสัมพันธ์ที่เข้มงวดกับการปรับขนาดในแนวนอน โครงสร้างข้อมูลที่ยืดหยุ่น และความพร้อมใช้งานสูง

Definition

ระบบบิ๊กดาต้าคือแพลตฟอร์มการจัดการข้อมูลที่ออกแบบมาสำหรับชุดข้อมูลที่มีขนาดใหญ่ รวดเร็ว หรือหลากหลายเกินกว่าที่ฐานข้อมูลแบบโหนดเดี่ยวแบบดั้งเดิมจะรองรับได้; ระบบ NoSQL คือที่เก็บข้อมูลที่ไม่ใช่เชิงสัมพันธ์ที่ใช้โมเดลข้อมูลที่ยืดหยุ่นและความสอดคล้องที่ผ่อนคลายเพื่อให้บรรลุการปรับขนาดในแนวนอนและความพร้อมใช้งาน

Scope

ขอบเขตนี้ครอบคลุมระบบข้อมูลที่ออกแบบมาเพื่อรองรับขนาดข้อมูลมหาศาล: ที่เก็บข้อมูล NoSQL (แบบคีย์-ค่า, เอกสาร, คอลัมน์กว้าง และกราฟ) และโมเดลข้อมูลที่ยืดหยุ่น; เฟรมเวิร์กการประมวลผลแบบขนานข้อมูลที่พัฒนามาจาก MapReduce; การแลกเปลี่ยนระหว่างความสอดคล้องและความพร้อมใช้งานที่อธิบายโดยทฤษฎี CAP และสเปกตรัมของโมเดลความสอดคล้อง; และคลังข้อมูลและ OLAP สำหรับการวิเคราะห์ขนาดใหญ่ โดยจะกล่าวถึงวิธีการที่ระบบเหล่านี้ผ่อนคลายหรือจัดระเบียบสมมติฐานเชิงสัมพันธ์เพื่อรองรับขนาดข้อมูลที่ใหญ่ขึ้น ไม่รวมถึงกลไกภายในของการคอมมิตแบบกระจายและการประมวลผลคิวรีแบบขนาน ซึ่งครอบคลุมในส่วนของฐานข้อมูลแบบกระจายและแบบขนาน

Sub-topics

• Data Warehousing and OLAP
• MapReduce and Data-Parallel Processing
• NoSQL Data Stores
• The CAP Theorem and Consistency Models

Core questions

• ความต้องการด้านการปรับขนาดและความยืดหยุ่นใดที่ผลักดันให้เกิดการเปลี่ยนแปลงจากฐานข้อมูลเชิงสัมพันธ์?
• โมเดลข้อมูลใดที่หมวดหมู่ NoSQL หลัก ๆ มีให้?
• เฟรมเวิร์กแบบขนานข้อมูลประมวลผลชุดข้อมูลขนาดใหญ่ในคลัสเตอร์ได้อย่างไร?
• ทฤษฎี CAP อธิบายการแลกเปลี่ยนระหว่างความสอดคล้องและความพร้อมใช้งานอย่างไร?
• คลังข้อมูลและ OLAP สนับสนุนการสอบถามเชิงวิเคราะห์ขนาดใหญ่อย่างไร?

Key concepts

• ที่เก็บข้อมูลแบบคีย์-ค่า, เอกสาร, คอลัมน์กว้าง, กราฟ
• การปรับขนาดในแนวนอน
• ความยืดหยุ่นของโครงสร้างข้อมูล
• MapReduce และการประมวลผลแบบขนานข้อมูล
• ทฤษฎี CAP
• ความสอดคล้องแบบสุดท้าย
• BASE เทียบกับ ACID
• คลังข้อมูลและ OLAP

Key theories

ที่เก็บข้อมูล NoSQL ที่ปรับขนาดในแนวนอนได้

ระบบ NoSQL ละทิ้งโมเดลเชิงสัมพันธ์แบบโหนดเดี่ยวเพื่อใช้โมเดลแบบคีย์-ค่า, เอกสาร, คอลัมน์กว้าง หรือกราฟ ที่แบ่งส่วนและจำลองข้อมูลในคลัสเตอร์สินค้าโภคภัณฑ์ โดยให้ความสำคัญกับการปรับขนาดและความพร้อมใช้งานมากกว่าการสอบถามที่ซับซ้อนและความสอดคล้องที่เข้มงวด

การประมวลผลแบบขนานข้อมูล

เฟรมเวิร์กที่ปฏิบัติตามโมเดล MapReduce แสดงการคำนวณขนาดใหญ่เป็นขั้นตอน map และ reduce แบบขนานบนข้อมูลที่แบ่งส่วน โดยซ่อนความซับซ้อนของการกระจาย การจัดตารางเวลา และความทนทานต่อข้อผิดพลาดจากโปรแกรมเมอร์

การแลกเปลี่ยน CAP

ทฤษฎี CAP ระบุว่าที่เก็บข้อมูลแบบกระจายไม่สามารถรับประกันความสอดคล้อง ความพร้อมใช้งาน และความทนทานต่อการแบ่งส่วนได้พร้อมกัน ทำให้ผู้ออกแบบต้องเลือกระหว่างความสอดคล้องและความพร้อมใช้งานในระหว่างการแบ่งส่วนเครือข่าย

Clinical relevance

ระบบบิ๊กดาต้าและ NoSQL เป็นโครงสร้างพื้นฐานข้อมูลของเว็บสมัยใหม่: ที่เก็บข้อมูลแบบคีย์-ค่าและคอลัมน์กว้างรองรับบริการที่มีการเข้าชมสูง, เฟรมเวิร์กแบบขนานข้อมูลประมวลผลบันทึกและคลิกสตรีมในขนาดใหญ่, และคลังข้อมูลรองรับการวิเคราะห์ทางธุรกิจ ทำให้ระบบเหล่านี้มีความสำคัญต่อวิศวกรรมข้อมูลและแอปพลิเคชันขนาดใหญ่

History

ปริมาณงานระดับอินเทอร์เน็ตในช่วงทศวรรษ 2000 เกินกว่าที่ฐานข้อมูลเชิงสัมพันธ์แบบโหนดเดี่ยวจะจัดการได้ MapReduce ของ Google (2004/2008) และระบบนิเวศ Hadoop แบบโอเพนซอร์สช่วยให้สามารถประมวลผลข้อมูลระดับคลัสเตอร์ได้; Dynamo ของ Amazon (2007) และ Bigtable ของ Google เป็นแรงบันดาลใจให้เกิดที่เก็บข้อมูล NoSQL จำนวนมาก; และทฤษฎี CAP ของ Brewer ได้กำหนดการแลกเปลี่ยนระหว่างความสอดคล้องและความพร้อมใช้งานที่ระบบเหล่านี้มีอยู่

Debates

ความสอดคล้องที่เข้มงวดเทียบกับความสอดคล้องแบบสุดท้าย

ระบบ NoSQL มักจะเลือกความพร้อมใช้งานและความสอดคล้องแบบสุดท้ายเพื่อให้ตอบสนองได้ภายใต้การแบ่งส่วน แต่สิ่งนี้ผลักภาระการจัดการความขัดแย้งไปยังแอปพลิเคชัน; สาขาวิชานี้ถกเถียงกันว่าเมื่อใดที่ความสอดคล้องแบบสุดท้ายเป็นที่ยอมรับได้ เทียบกับเมื่อใดที่ระบบใหม่ควรฟื้นฟูการรับประกันที่เข้มงวดกว่า

Key figures

• Jeffrey Dean
• Sanjay Ghemawat
• Eric Brewer
• Werner Vogels

Seminal works

• dean2008
• decandia2007
• brewer2012

Frequently asked questions

NoSQL หมายถึงไม่มี SQL เลยหรือไม่?

ไม่ NoSQL มักจะอ่านว่า 'ไม่ใช่แค่ SQL' เท่านั้น หมายถึงที่เก็บข้อมูลที่ไม่ได้สร้างขึ้นบนโมเดลเชิงสัมพันธ์และไม่ได้เน้นที่ SQL แต่ระบบ NoSQL จำนวนมากมีอินเทอร์เฟซการสอบถามที่คล้าย SQL และคำนี้ครอบคลุมตระกูลที่กว้างขวาง — ฐานข้อมูลแบบคีย์-ค่า, เอกสาร, คอลัมน์กว้าง และกราฟ — มากกว่าเทคโนโลยีเดียว

ฉันควรเลือกระบบ NoSQL แทนฐานข้อมูลเชิงสัมพันธ์เมื่อใด?

ระบบ NoSQL น่าสนใจเมื่อคุณต้องการปรับขนาดในแนวนอนในหลายเครื่อง, จัดเก็บข้อมูลที่ยืดหยุ่นหรือมีการเปลี่ยนแปลงอย่างรวดเร็ว, หรือเพิ่มความพร้อมใช้งานสูงสุดสำหรับรูปแบบการเข้าถึงที่เรียบง่าย ฐานข้อมูลเชิงสัมพันธ์ยังคงเป็นที่ต้องการเมื่อคุณต้องการการสอบถามที่ซับซ้อน, การเชื่อมโยงที่ซับซ้อน, และความสอดคล้องของธุรกรรมที่เข้มงวดบนข้อมูลที่มีโครงสร้าง