Cluster- und Grid-Computing

Cluster-Computing fasst vernetzte Maschinen zu einem einzigen Hochleistungssystem zusammen, während Grid-Computing Ressourcen über Organisationen hinweg zu einer gemeinsamen virtuellen Infrastruktur föderiert.

Definition

Ein Cluster ist eine Sammlung miteinander verbundener Computer, die als einzelne Ressource für paralleles oder Hochdurchsatz-Computing verwaltet werden; ein Grid erweitert dies zu einer Föderation autonom verwalteter, verteilter Ressourcen, die über gemeinsame Protokolle von einer virtuellen Organisation gemeinsam genutzt werden.

Scope

Dieses Thema behandelt die Architektur und Verwaltung von Compute-Clustern – Interconnects, Batch-Scheduler und Ressourcenmanager – sowie das Grid-Computing-Paradigma, das heterogene, geografisch verteilte Ressourcen über administrative Domänen hinweg zu virtuellen Organisationen föderiert. Es umfasst Job-Scheduling, Ressourcenerkennung und -zuweisung sowie Hochdurchsatz-Computing für Parameter-Sweep- und peinlich parallele Workloads.

Core questions

• Wie werden Jobs geplant und Ressourcen in einem gemeinsam genutzten Cluster zugewiesen?
• Wie können Ressourcen, die verschiedenen Organisationen gehören, sicher föderiert und geteilt werden?
• Welche Workloads werden am besten durch Hochdurchsatz-Computing anstatt durch eng gekoppeltes paralleles Computing bedient?

Key theories

Virtuelle Organisationen und Grid-Architektur

Das Grid-Konzept definiert Protokolle für die gemeinsame Nutzung von Rechen-, Speicher- und Datenressourcen über Organisationsgrenzen hinweg, um virtuelle Organisationen zu bilden, mit geschichteten Diensten für Sicherheit, Ressourcenmanagement und Erkennung.

Batch-Scheduling und Ressourcenmanagement

Cluster-Ressourcenmanager reihen Jobs ein und platzieren sie auf Knoten gemäß Richtlinien, die Auslastung, Fairness und Priorität ausgleichen, eine Funktion, die sowohl für Cluster als auch für Grids zentral ist.

Hochdurchsatz-Computing

Für Workloads, die aus vielen unabhängigen Aufgaben bestehen, nutzen Systeme ungenutzte und verteilte Kapazitäten, um die Anzahl der abgeschlossenen Jobs über lange Zeiträume zu maximieren, anstatt die Latenz einer einzelnen Berechnung zu minimieren.

Clinical relevance

Cluster und Grids bilden die Grundlage des wissenschaftlichen Rechnens – von der Physik und Bioinformatik bis hin zu großen Kooperationen, die Daten und Rechenleistung teilen – und ihre Planungs- und Ressourcenmanagement-Ideen fließen direkt in die heutigen Cloud- und Container-Orchestrierungsplattformen ein.

History

Cluster aus Commodity-Workstations entstanden in den 1990er Jahren als kostengünstige Alternative zu Supercomputern; Fosters und Kesselmans Grid-Vision (späte 1990er Jahre, formalisiert 2001) erweiterte die gemeinsame Nutzung über Institutionen hinweg, und Systeme wie Condor demonstrierten groß angelegtes Hochdurchsatz-Computing, das die Cloud vorwegnahm.

Key figures

• Ian Foster
• Carl Kesselman
• Miron Livny

Seminal works

• foster2001
• foster2004
• thain2005

Frequently asked questions

Wie unterscheidet sich ein Grid von einem einzelnen Cluster?

Ein Cluster ist in der Regel homogen und unterliegt einer einzigen administrativen Autorität, während ein Grid heterogene Ressourcen föderiert, die verschiedenen Organisationen gehören. Grids müssen daher schwierigere Probleme der domänenübergreifenden Sicherheit, des Vertrauens und der Ressourcenerkennung lösen, die ein einzelner Cluster vermeidet.