Mesajlaşma Tabanlı Paralel Programlama
Mesajlaşma tabanlı paralel programlama, dağıtık bellekli makinelerdeki süreçleri açık iletişim yoluyla koordine eden, büyük ölçekli yüksek performanslı hesaplama için baskın bir modeldir.
Tanım
Mesajlaşma tabanlı paralel programlamada, her sürecin kendine ait özel bir belleği bulunmaktadır ve süreçler yalnızca mesaj gönderip alarak işbirliği yapmaktadır; Mesajlaşma Arayüzü (Message Passing Interface - MPI), bu model için noktadan-noktaya ve kolektif iletişim ilkellerini (primitives) sağlayan standart kütüphanedir.
Kapsam
Bu konu, dağıtık bellekli paralel bilgisayarlar için mesajlaşma paradigmasını kapsamaktadır: noktadan-noktaya gönderme/alma işlemleri ve bunların bloklayıcı ve bloklayıcı olmayan varyantları, kolektif işlemler (yayınlama (broadcast), dağıtma/toplama (scatter/gather), indirgeme (reduction), tümden-tüme (all-to-all)), süreç grupları ve iletişimciler (communicators) ile fiili MPI standardı. Ayrıca, algoritma tasarımına ve performans muhakemesine rehberlik eden Bulk Synchronous Parallel (BSP) modeli gibi yapılandırılmış maliyet modellerini de içermektedir.
Temel sorular
- Adres alanı paylaşmayan dağıtık bellekli süreçler arasında hesaplamalar nasıl bölümlenmektedir?
- Kolektif işlemler, açık noktadan-noktaya iletişimin yerini ne zaman almalıdır?
- Paralel bir algoritmanın iletişim maliyeti nasıl modellenebilir ve en aza indirilebilir?
Temel kuramlar
- Noktadan-noktaya ve Kolektif İletişim
- MPI, paralel hesaplamayı süreçler arasındaki açık mesajlar ve optimize edilmiş kolektif desenler (yayınlamalar, indirgemeler ve toplamalar) etrafında yapılandırmaktadır; bunların verimli uygulamaları, ölçeklenebilir dağıtık bellekli programlar için merkezi bir öneme sahiptir.
- Bulk Synchronous Parallel (BSP) Modeli
- BSP modeli, hesaplamayı yerel hesaplama, iletişim ve bariyer senkronizasyonundan oluşan süper adımlara ayırarak, algoritma tasarımı ile mesajlaşma donanımı arasında köprü kuran net bir maliyet modeli sunmaktadır.
- İletişim Odaklı Algoritma Tasarımı
- İletişim, dağıtık bellekli makinelerde maliyete genellikle hakim olduğundan, paralel algoritmalar mesaj hacmini ve gecikmeyi en aza indirmek, hesaplama ile iletişimi dengelemek amacıyla tasarlanmakta ve analiz edilmektedir.
Klinik önem
MPI, süper bilgisayarlardaki bilimsel simülasyonların (iklim modellemesi, hesaplamalı akışkanlar dinamiği, moleküler dinamik) ve bir kümenin çok sayıda dağıtık bellekli düğümü arasında ölçeklenmesi gereken her türlü hesaplamanın temelini oluşturmaktadır.
Tarihçe
Valiant'ın 1990 tarihli BSP modeli, paralel hesaplama için bir köprüleme soyutlaması sağlamıştır; MPI Forumu, 1994 yılında mesajlaşmayı standartlaştırmış ve Gropp, Snir, Dongarra ve meslektaşlarının sonraki MPI versiyonları ile referans metinleri, onu yüksek performanslı hesaplamanın ortak dili (lingua franca) haline getirmiştir.
Öne çıkan isimler
- William Gropp
- Jack Dongarra
- Marc Snir
- Leslie Valiant
İlgili konular
Temel eserler
- gropp2014
- valiant1990
- snir1998
Sıkça sorulan sorular
- Çok büyük paralel makineler için neden mesajlaşma tercih edilmektedir?
- Büyük paralel bilgisayarlar fiziksel olarak dağıtık bellekli yapıdadır: ölçeklenecek tek bir paylaşımlı bellek bulunmamaktadır. Mesajlaşma, bu donanımla doğrudan eşleşmekte ve programcıyı veri yerelliğini açıkça yönetmeye zorlamaktadır; bu da binlerce veya milyonlarca çekirdeğe ölçeklenmeyi mümkün kılmaktadır.