बिग डेटा और NoSQL सिस्टम
बिग डेटा और NoSQL सिस्टम डेटा-प्रबंधन प्रौद्योगिकियाँ हैं जो वॉल्यूम, वेग और विविधता के लिए बनाई गई हैं, जिनसे रिलेशनल डेटाबेस जूझते थे। ये सख्त रिलेशनल गारंटियों को क्षैतिज स्केलेबिलिटी, लचीली स्कीमा और उच्च उपलब्धता के लिए छोड़ देते हैं।
Definition
बिग डेटा सिस्टम डेटा-प्रबंधन प्लेटफॉर्म हैं जो उन डेटा सेटों के लिए इंजीनियर किए गए हैं जो पारंपरिक सिंगल-नोड डेटाबेस के लिए बहुत बड़े, तेज़ या विविध हैं; NoSQL सिस्टम गैर-रिलेशनल स्टोर हैं जो क्षैतिज स्केलेबिलिटी और उपलब्धता प्राप्त करने के लिए लचीले डेटा मॉडल और शिथिल कंसिस्टेंसी अपनाते हैं।
Scope
यह क्षेत्र बड़े पैमाने के लिए डिज़ाइन किए गए डेटा सिस्टम को कवर करता है: NoSQL स्टोर (की-वैल्यू, डॉक्यूमेंट, वाइड-कॉलम और ग्राफ़) और उनके लचीले डेटा मॉडल; MapReduce से निकले डेटा-पैरेलल प्रोसेसिंग फ्रेमवर्क; CAP प्रमेय द्वारा कैप्चर किए गए कंसिस्टेंसी-उपलब्धता ट्रेड-ऑफ और कंसिस्टेंसी मॉडल का स्पेक्ट्रम; और बड़े पैमाने के विश्लेषण के लिए डेटा वेयरहाउसिंग और OLAP। यह बताता है कि ये सिस्टम स्केल के लिए रिलेशनल मान्यताओं को कैसे शिथिल या पुनर्गठित करते हैं। इसमें डिस्ट्रीब्यूटेड कमिट और पैरेलल क्वेरी निष्पादन के आंतरिक भाग शामिल नहीं हैं, जिन्हें डिस्ट्रीब्यूटेड और पैरेलल डेटाबेस क्षेत्र में कवर किया गया है।
Sub-topics
Core questions
- रिलेशनल डेटाबेस से आगे बढ़ने के लिए किन स्केलेबिलिटी और लचीलेपन की जरूरतों ने प्रेरित किया?
- मुख्य NoSQL श्रेणियाँ कौन से डेटा मॉडल प्रदान करती हैं?
- डेटा-पैरेलल फ्रेमवर्क क्लस्टर में विशाल डेटा सेट को कैसे संसाधित करते हैं?
- CAP प्रमेय किन कंसिस्टेंसी-उपलब्धता ट्रेड-ऑफ का वर्णन करता है?
- डेटा वेयरहाउस और OLAP बड़े पैमाने पर विश्लेषणात्मक प्रश्नों का समर्थन कैसे करते हैं?
Key concepts
- की-वैल्यू, डॉक्यूमेंट, वाइड-कॉलम, ग्राफ़ स्टोर
- क्षैतिज स्केलेबिलिटी
- स्कीमा लचीलापन
- MapReduce और डेटा-पैरेलल प्रोसेसिंग
- CAP प्रमेय
- इवेंचुअल कंसिस्टेंसी
- BASE बनाम ACID
- डेटा वेयरहाउसिंग और OLAP
Key theories
- क्षैतिज रूप से स्केलेबल NoSQL स्टोर
- NoSQL सिस्टम एकल-नोड रिलेशनल मॉडल को की-वैल्यू, डॉक्यूमेंट, वाइड-कॉलम, या ग्राफ़ मॉडल के पक्ष में छोड़ देते हैं जो कमोडिटी क्लस्टर में शार्ड और प्रतिकृति करते हैं, समृद्ध क्वेरींग और मजबूत कंसिस्टेंसी पर स्केलेबिलिटी और उपलब्धता को प्राथमिकता देते हैं।
- डेटा-पैरेलल प्रोसेसिंग
- MapReduce मॉडल का पालन करने वाले फ्रेमवर्क बड़े पैमाने की गणनाओं को विभाजित डेटा पर समानांतर मैप और रिड्यूस चरणों के रूप में व्यक्त करते हैं, प्रोग्रामर से वितरण, शेड्यूलिंग और फॉल्ट टॉलरेंस की जटिलता को छिपाते हैं।
- CAP ट्रेड-ऑफ
- CAP प्रमेय कहता है कि एक डिस्ट्रीब्यूटेड डेटा स्टोर एक साथ कंसिस्टेंसी, उपलब्धता और विभाजन सहिष्णुता की गारंटी नहीं दे सकता है, जिससे डिजाइनरों को नेटवर्क विभाजन के दौरान कंसिस्टेंसी और उपलब्धता के बीच चयन करने के लिए मजबूर होना पड़ता है।
Clinical relevance
बिग डेटा और NoSQL सिस्टम आधुनिक वेब के डेटा इंफ्रास्ट्रक्चर को शक्ति प्रदान करते हैं: की-वैल्यू और वाइड-कॉलम स्टोर उच्च-ट्रैफ़िक सेवाओं का समर्थन करते हैं, डेटा-पैरेलल फ्रेमवर्क बड़े पैमाने पर लॉग और क्लिकस्ट्रीम को संसाधित करते हैं, और डेटा वेयरहाउस व्यावसायिक विश्लेषण की सेवा करते हैं, जिससे ये सिस्टम डेटा इंजीनियरिंग और बड़े पैमाने के अनुप्रयोगों के लिए केंद्रीय बन जाते हैं।
History
2000 के दशक में इंटरनेट-स्केल वर्कलोड ने उस सीमा को पार कर दिया जिसे सिंगल-नोड रिलेशनल डेटाबेस संभाल सकते थे। Google के MapReduce (2004/2008) और ओपन-सोर्स Hadoop इकोसिस्टम ने क्लस्टर-स्केल डेटा प्रोसेसिंग को सक्षम किया; Amazon के Dynamo (2007) और Google के Bigtable ने NoSQL स्टोर की एक लहर को प्रेरित किया; और Brewer के CAP प्रमेय ने कंसिस्टेंसी-उपलब्धता ट्रेड-ऑफ को फ्रेम किया जो ये सिस्टम दर्शाते हैं।
Debates
- मजबूत बनाम इवेंचुअल कंसिस्टेंसी
- NoSQL सिस्टम अक्सर विभाजन के तहत प्रतिक्रियाशील रहने के लिए उपलब्धता और इवेंचुअल कंसिस्टेंसी चुनते हैं, लेकिन यह संघर्ष प्रबंधन को अनुप्रयोगों पर धकेलता है; क्षेत्र इस बात पर बहस करता है कि इवेंचुअल कंसिस्टेंसी कब स्वीकार्य है और कब नए सिस्टम को मजबूत गारंटियों को बहाल करना चाहिए।
Key figures
- Jeffrey Dean
- Sanjay Ghemawat
- Eric Brewer
- Werner Vogels
Related topics
Seminal works
- dean2008
- decandia2007
- brewer2012
Frequently asked questions
- क्या NoSQL का मतलब बिल्कुल भी SQL नहीं है?
- नहीं। NoSQL को आमतौर पर 'केवल SQL नहीं' के रूप में पढ़ा जाता है। यह उन डेटा स्टोर को संदर्भित करता है जो रिलेशनल मॉडल पर आधारित नहीं हैं और SQL पर केंद्रित नहीं हैं, लेकिन कई NoSQL सिस्टम SQL-जैसे क्वेरी इंटरफेस प्रदान करते हैं, और यह शब्द एक एकल तकनीक के बजाय एक व्यापक परिवार — की-वैल्यू, डॉक्यूमेंट, वाइड-कॉलम और ग्राफ़ डेटाबेस — को कवर करता है।
- मुझे रिलेशनल डेटाबेस के बजाय NoSQL सिस्टम कब चुनना चाहिए?
- NoSQL सिस्टम तब आकर्षक होते हैं जब आपको कई मशीनों में क्षैतिज रूप से स्केल करने, लचीले या तेजी से विकसित होने वाले डेटा को स्टोर करने, या सरल एक्सेस पैटर्न के लिए अधिकतम उपलब्धता की आवश्यकता होती है। रिलेशनल डेटाबेस तब भी बेहतर होते हैं जब आपको संरचित डेटा पर समृद्ध क्वेरी, जटिल जॉइन और मजबूत ट्रांजैक्शनल कंसिस्टेंसी की आवश्यकता होती है।