Parallele Programmiermodelle

Parallele Programmiermodelle sind Abstraktionen, durch die Programmierer Berechnungen über viele Prozessoren hinweg ausdrücken und koordinieren, um Geschwindigkeitsvorteile zu erzielen.

Definition

Ein paralleles Programmiermodell ist eine Abstraktion eines Parallelcomputers, die definiert, wie eine Berechnung in gleichzeitige Aufgaben zerlegt wird, wie diese Aufgaben kommunizieren und synchronisieren und wie Daten unter Prozessoren geteilt oder verteilt werden, um ein Problem durch die Nutzung mehrerer Verarbeitungseinheiten schneller zu lösen.

Scope

Dieser Bereich umfasst die wichtigsten parallelen Programmiermodelle – Shared Memory und Datenparallelität (Threads, OpenMP), Nachrichtenübermittlung (MPI) und Beschleuniger-/GPU-Programmierung (CUDA, OpenCL) – zusammen mit Flynns Taxonomie paralleler Architekturen, dem Design paralleler Algorithmen und den Leistungsgesetzen (Amdahls und Gustafsons) sowie Metriken (Speedup, Effizienz, Skalierbarkeit), die deren Nutzen begrenzen und messen. Es ist die Ergänzung des Parallel-Computing zur Distributed-Systems-Seite des Unterfeldes.

Sub-topics

• gpu and accelerator computing
• message passing parallel
• parallel algorithms and performance
• shared memory and data parallelism

Core questions

• Wie sollte eine Berechnung in Aufgaben zerlegt und auf Prozessoren abgebildet werden?
• Welches Programmiermodell – Shared Memory, Nachrichtenübermittlung oder Beschleuniger – passt zu einer gegebenen Architektur und einem Problem?
• Was begrenzt den durch Parallelität erreichbaren Speedup, und wie wird Skalierbarkeit gemessen?

Key theories

Flynns Taxonomie

Parallele Architekturen werden nach ihren Instruktions- und Datenströmen in SISD, SIMD, MISD und MIMD klassifiziert, ein Rahmenwerk, das immer noch das Denken über Vektor-, GPU- und Mehrkernmaschinen strukturiert.

Amdahls und Gustafsons Gesetze

Amdahls Gesetz begrenzt den Speedup durch den seriellen Anteil des Programms für eine feste Problemgröße, während Gustafsons Neufassung besagt, dass größere Probleme mehr Prozessoren sinnvoll beschäftigen können, was zusammen die Grenzen und das Potenzial der Parallelität umreißt.

Parallele Entwurfsmuster

Wiederkehrende Strategien – Aufgaben- und Datenzerlegung, Pipelines, geometrische Zerlegung und Master-Worker – bieten ein strukturiertes Vokabular für das Design paralleler Programme über verschiedene Modelle hinweg.

Clinical relevance

Parallele Programmiermodelle sind die Grundlage für Hochleistungs- und wissenschaftliches Rechnen, das Training von maschinellem Lernen auf GPUs und die alltägliche Nutzung von Mehrkernprozessoren; die Wahl des Modells bestimmt die erreichbare Leistung und Portabilität über verschiedene Hardware hinweg.

History

Flynns Taxonomie von 1972 und Amdahls Speedup-Argument von 1967 prägten das parallele Rechnen von Anfang an; standardisierte Modelle entstanden mit MPI und OpenMP in den 1990er Jahren und GPU-Computing in den 2000er Jahren, während Lehrbücher wie das von Grama und Kollegen das Design und die Analyse paralleler Algorithmen kodifizierten.

Debates

Shared Memory versus Nachrichtenübermittlung als Standardmodell

Shared-Memory-Modelle sind einfacher zu programmieren, skalieren aber weniger leicht und bergen das Risiko subtiler Datenkonflikte, während die Nachrichtenübermittlung auf große Cluster skaliert, jedoch auf Kosten expliziter Kommunikation; hybride Modelle kombinieren beides, und der richtige Standard hängt weiterhin von der Arbeitslast und der Architektur ab.

Key figures

• Gene Amdahl
• Michael Flynn
• Vipin Kumar
• John Gustafson

Seminal works

• grama2003
• amdahl1967
• flynn1972

Frequently asked questions

Warum kann das Hinzufügen weiterer Prozessoren nicht jedes Programm beliebig schnell machen?

Amdahls Gesetz zeigt, dass der serielle Anteil einer Berechnung – Arbeit, die nicht parallelisiert werden kann – den gesamten Speedup begrenzt. Wenn selbst ein kleiner Bruchteil inhärent sequenziell ist, dominiert er mit zunehmender Prozessoranzahl und begrenzt die erreichbare Beschleunigung.