संदेश-पासिंग समानांतर प्रोग्रामिंग
संदेश-पासिंग समानांतर प्रोग्रामिंग वितरित-मेमोरी मशीनों पर प्रक्रियाओं को स्पष्ट संचार द्वारा समन्वित करती है, जो बड़े पैमाने पर उच्च-प्रदर्शन कंप्यूटिंग के लिए प्रमुख मॉडल है।
Definition
संदेश-पासिंग समानांतर प्रोग्रामिंग में, प्रत्येक प्रक्रिया की अपनी निजी मेमोरी होती है और प्रक्रियाएं केवल संदेश भेजकर और प्राप्त करके सहयोग करती हैं; मैसेज पासिंग इंटरफ़ेस (MPI) मानक लाइब्रेरी है जो इस मॉडल के लिए पॉइंट-टू-पॉइंट और सामूहिक संचार प्रिमिटिव प्रदान करती है।
Scope
यह विषय वितरित-मेमोरी समानांतर कंप्यूटरों के लिए संदेश-पासिंग प्रतिमान को शामिल करता है: पॉइंट-टू-पॉइंट सेंड/रिसीव ऑपरेशन और उनके ब्लॉकिंग और नॉन-ब्लॉकिंग वेरिएंट, सामूहिक ऑपरेशन (ब्रॉडकास्ट, स्कैटर/गैदर, रिडक्शन, ऑल-टू-ऑल), प्रक्रिया समूह और कम्युनिकेटर, और वास्तविक MPI मानक। इसमें बल्क सिंक्रोनस पैरेलल (BSP) मॉडल जैसे संरचित लागत मॉडल भी शामिल हैं जो एल्गोरिथम डिजाइन और प्रदर्शन तर्क का मार्गदर्शन करते हैं।
Core questions
- बिना किसी एड्रेस स्पेस को साझा किए वितरित-मेमोरी प्रक्रियाओं में गणनाओं को कैसे विभाजित किया जाता है?
- सामूहिक संचालन को स्पष्ट पॉइंट-टू-पॉइंट संचार की जगह कब लेना चाहिए?
- एक समानांतर एल्गोरिथम की संचार लागत को कैसे मॉडल और कम किया जा सकता है?
Key theories
- पॉइंट-टू-पॉइंट और सामूहिक संचार
- MPI प्रक्रियाओं के बीच स्पष्ट संदेशों और अनुकूलित सामूहिक पैटर्न—ब्रॉडकास्ट, रिडक्शन और गैदर—के आसपास समानांतर गणना को संरचित करता है, जिनके कुशल कार्यान्वयन स्केलेबल वितरित-मेमोरी कार्यक्रमों के लिए केंद्रीय हैं।
- बल्क सिंक्रोनस पैरेलल मॉडल
- BSP मॉडल गणना को स्थानीय गणना, संचार और बैरियर सिंक्रनाइज़ेशन के सुपरस्टेप्स में संरचित करता है, जिससे एक स्वच्छ लागत मॉडल मिलता है जो एल्गोरिथम डिजाइन और संदेश-पासिंग हार्डवेयर को जोड़ता है।
- संचार-जागरूक एल्गोरिथम डिजाइन
- चूंकि वितरित-मेमोरी मशीनों पर संचार अक्सर लागत पर हावी होता है, समानांतर एल्गोरिदम को संदेश की मात्रा और विलंबता को कम करने के लिए डिज़ाइन और विश्लेषण किया जाता है, गणना को संचार के साथ संतुलित करते हुए।
Clinical relevance
MPI सुपरकंप्यूटरों पर वैज्ञानिक सिमुलेशन की रीढ़ है—जलवायु मॉडलिंग, कम्प्यूटेशनल फ्लुइड डायनामिक्स, मॉलिक्यूलर डायनामिक्स—और किसी भी गणना की जो क्लस्टर के कई वितरित-मेमोरी नोड्स में स्केल होनी चाहिए।
History
वेलियंट के 1990 के BSP मॉडल ने समानांतर गणना के लिए एक ब्रिजिंग एब्स्ट्रैक्शन दिया; MPI फोरम ने 1994 में संदेश पासिंग को मानकीकृत किया, और क्रमिक MPI संस्करणों के साथ-साथ ग्रोप, स्निर, डोंगार्रा और सहयोगियों द्वारा संदर्भ ग्रंथों ने इसे उच्च-प्रदर्शन कंप्यूटिंग की लिंगुआ फ्रैंका बना दिया।
Key figures
- William Gropp
- Jack Dongarra
- Marc Snir
- Leslie Valiant
Related topics
Seminal works
- gropp2014
- valiant1990
- snir1998
Frequently asked questions
- बहुत बड़ी समानांतर मशीनों के लिए संदेश पासिंग को क्यों पसंद किया जाता है?
- बड़े समानांतर कंप्यूटर भौतिक रूप से वितरित-मेमोरी होते हैं: स्केल करने के लिए कोई एक साझा मेमोरी नहीं होती है। संदेश पासिंग सीधे इस हार्डवेयर से मेल खाती है और प्रोग्रामर को डेटा लोकैलिटी को स्पष्ट रूप से प्रबंधित करने के लिए मजबूर करती है, जो हजारों या लाखों कोर तक स्केलिंग को सक्षम बनाता है।