स्केलेबल स्टोरेज सिस्टम

स्केलेबल स्टोरेज सिस्टम डेटा को कई मशीनों में फैलाते हैं ताकि किसी एक सर्वर से परे क्षमता, थ्रूपुट और उपलब्धता प्रदान की जा सके, जबकि व्यक्तिगत नोड्स की विफलताओं को छिपाया जा सके।

Definition

एक स्केलेबल स्टोरेज सिस्टम मशीनों के एक क्लस्टर में डेटा संग्रहीत करता है, इसे क्षमता और थ्रूपुट के लिए विभाजित करता है और स्थायित्व और उपलब्धता के लिए इसकी प्रतिकृति बनाता है, ताकि कुल सिस्टम नोड्स की संख्या के साथ स्केल हो सके जबकि व्यक्तिगत नोड विफलताओं को सहन कर सके।

Scope

यह विषय कमोडिटी क्लस्टरों के लिए डिज़ाइन किए गए वितरित फ़ाइल सिस्टम, वितरित कुंजी-मूल्य और वाइड-कॉलम स्टोर, और संरचित-ओवरले तकनीकों—सुसंगत हैशिंग और वितरित हैश टेबल—का वर्णन करता है जिनका उपयोग बड़े पैमाने पर डेटा को विभाजित करने और खोजने के लिए किया जाता है। इसमें डेटा विभाजन (शार्डिंग), स्थायित्व के लिए प्रतिकृति, और संगति और उपलब्धता के व्यापार-बंद शामिल हैं जो दृढ़ता से सुसंगत स्टोरों को अत्यधिक उपलब्ध स्टोरों से अलग करते हैं।

Core questions

• डेटा को नोड्स के एक बड़े, बदलते सेट में कैसे विभाजित और स्थित किया जाता है?
• बार-बार नोड विफलताओं के बावजूद स्थायित्व और उपलब्धता कैसे प्राप्त की जाती है?
• एक स्केलेबल स्टोर क्या संगति गारंटी प्रदान कर सकता है, और किस लागत पर?

Key theories

क्लस्टर फ़ाइल सिस्टम

गूगल फ़ाइल सिस्टम जैसे सिस्टम विशाल फ़ाइलों को कमोडिटी सर्वर में प्रतिकृति किए गए चंक्स के रूप में संग्रहीत करते हैं, बड़े अनुक्रमिक एक्सेस के लिए अनुकूलन करते हैं और विफलताओं को अपवाद के बजाय सामान्य मानते हैं।

वितरित संरचित स्टोर

बिगटेबल और डायनेमो जैसे वाइड-कॉलम और कुंजी-मूल्य स्टोर डेटा को नोड्स में कुंजी द्वारा विभाजित करते हैं और इसकी प्रतिकृति बनाते हैं, क्वेरी की अभिव्यक्ति और संगति को क्षैतिज स्केलेबिलिटी और उपलब्धता के लिए व्यापार करते हैं।

सुसंगत हैशिंग और वितरित हैश टेबल

सुसंगत हैशिंग कुंजियों और नोड्स को एक रिंग पर मैप करती है ताकि एक नोड को जोड़ने या हटाने से केवल कुंजियों का एक छोटा सा अंश ही स्थानांतरित हो, और कॉर्ड जैसे वितरित हैश टेबल लघुगणकीय रूटिंग के साथ स्केलेबल, विकेन्द्रीकृत कुंजी लुकअप प्रदान करते हैं।

Clinical relevance

स्केलेबल स्टोरेज क्लाउड प्लेटफॉर्म और बड़ी वेब सेवाओं का टिकाऊ आधार है: ऑब्जेक्ट स्टोर, डेटाबेस और एनालिटिक्स पाइपलाइन सभी वितरित फ़ाइल सिस्टम और कुंजी-मूल्य स्टोर पर आधारित होते हैं जिनके विभाजन और प्रतिकृति विकल्प सिस्टम की स्थायित्व और संगति की गारंटी निर्धारित करते हैं।

History

पीयर-टू-पीयर वितरित हैश टेबल जैसे कॉर्ड (2001) ने स्केलेबल विकेन्द्रीकृत लुकअप दिखाया; गूगल के फ़ाइल सिस्टम (2003) और बिगटेबल (2006-2008) ने संरचित डेटा के लिए क्लस्टर-स्केल स्टोरेज का प्रदर्शन किया; और अमेज़ॅन के डायनेमो (2007) ने अत्यधिक उपलब्ध कुंजी-मूल्य स्टोरेज को लोकप्रिय बनाया, जिसने मिलकर आधुनिक स्केलेबल-स्टोरेज और NoSQL परिदृश्य की स्थापना की।

Debates

स्टोरेज में मजबूत संगति बनाम उच्च उपलब्धता

दृढ़ता से सुसंगत स्टोर एप्लिकेशन लॉजिक को सरल बनाते हैं लेकिन विभाजन के तहत उपलब्धता का त्याग करना पड़ता है, जबकि डायनेमो जैसे अत्यधिक उपलब्ध स्टोर अस्थायी विचलन को स्वीकार करते हैं और संघर्ष समाधान को एप्लिकेशन पर धकेलते हैं; सही चुनाव डेटा की बासीपन के प्रति सहनशीलता पर निर्भर करता है।

Key figures

• Sanjay Ghemawat
• Werner Vogels
• Ion Stoica
• Hari Balakrishnan

Seminal works

• ghemawat2003
• decandia2007
• stoica2001

Frequently asked questions

सुसंगत हैशिंग किस समस्या का समाधान करती है?

जब डेटा को कुंजियों को हैश करके नोड्स में विभाजित किया जाता है, तो एक नोड को जोड़ने या हटाने पर भोली हैशिंग लगभग सब कुछ फिर से व्यवस्थित कर देती है। सुसंगत हैशिंग कुंजियों और नोड्स को एक रिंग पर व्यवस्थित करती है ताकि ऐसा परिवर्तन कुंजियों के केवल एक छोटे, सीमित अंश को ही स्थानांतरित करे, जो लोचदार, मंथन वाले क्लस्टरों के लिए आवश्यक है।