Pemrograman Paralel Berbasis Pengiriman Pesan

Pemrograman paralel berbasis pengiriman pesan mengoordinasikan proses pada mesin memori terdistribusi melalui komunikasi eksplisit, model dominan untuk komputasi kinerja tinggi berskala besar.

Definition

Dalam pemrograman paralel berbasis pengiriman pesan, setiap proses memiliki memorinya sendiri yang bersifat pribadi dan proses-proses tersebut bekerja sama semata-mata dengan mengirim dan menerima pesan; Message Passing Interface (MPI) adalah pustaka standar yang menyediakan primitif komunikasi titik-ke-titik dan kolektif untuk model ini.

Scope

Topik ini mencakup paradigma pengiriman pesan untuk komputer paralel memori terdistribusi: operasi kirim/terima titik-ke-titik dan varian pemblokiran serta non-pemblokirannya, operasi kolektif (siaran, sebar/kumpul, reduksi, semua-ke-semua), grup proses dan komunikator, serta standar de facto MPI. Ini juga mencakup model biaya terstruktur seperti model Bulk Synchronous Parallel (BSP) yang memandu desain algoritma dan penalaran kinerja.

Core questions

• Bagaimana komputasi dipartisi di seluruh proses memori terdistribusi yang tidak berbagi ruang alamat?
• Kapan operasi kolektif harus menggantikan komunikasi titik-ke-titik eksplisit?
• Bagaimana biaya komunikasi dari algoritma paralel dapat dimodelkan dan diminimalkan?

Key theories

Komunikasi titik-ke-titik dan kolektif

MPI menyusun komputasi paralel di sekitar pesan eksplisit antarproses dan pola kolektif yang dioptimalkan—siaran, reduksi, dan pengumpulan—yang implementasi efisiennya merupakan inti dari program memori terdistribusi yang dapat diskalakan.

Model Bulk Synchronous Parallel

Model BSP menyusun komputasi menjadi superlangkah komputasi lokal, komunikasi, dan sinkronisasi penghalang, memberikan model biaya yang jelas yang menjembatani desain algoritma dan perangkat keras pengiriman pesan.

Desain algoritma yang sadar komunikasi

Karena komunikasi sering mendominasi biaya pada mesin memori terdistribusi, algoritma paralel dirancang dan dianalisis untuk meminimalkan volume dan latensi pesan, menyeimbangkan komputasi dengan komunikasi.

Clinical relevance

MPI adalah tulang punggung simulasi ilmiah pada superkomputer—pemodelan iklim, dinamika fluida komputasi, dinamika molekuler—dan komputasi apa pun yang harus diskalakan di banyak node memori terdistribusi dalam sebuah klaster.

History

Model BSP Valiant tahun 1990 memberikan abstraksi penghubung untuk komputasi paralel; Forum MPI menstandardisasi pengiriman pesan pada tahun 1994, dan versi MPI berturut-turut ditambah teks referensi oleh Gropp, Snir, Dongarra, dan rekan-rekan menjadikannya lingua franca komputasi kinerja tinggi.

Key figures

• William Gropp
• Jack Dongarra
• Marc Snir
• Leslie Valiant

Seminal works

• gropp2014
• valiant1990
• snir1998

Frequently asked questions

Mengapa pengiriman pesan lebih disukai untuk mesin paralel yang sangat besar?

Komputer paralel besar secara fisik memiliki memori terdistribusi: tidak ada satu memori bersama pun yang dapat diskalakan. Pengiriman pesan secara langsung sesuai dengan perangkat keras ini dan memaksa pemrogram untuk mengelola lokalitas data secara eksplisit, yang memungkinkan penskalaan hingga ribuan atau jutaan inti.