Cloud und Cluster Computing

Cloud- und Cluster-Computing organisieren eine große Anzahl handelsüblicher Maschinen zu bedarfsgerechten, skalierbaren Plattformen, die Rechenleistung und Speicher als Dienstleistung bereitstellen.

Definition

Cluster-Computing vernetzt viele unabhängige Computer, um als ein einziges System zu arbeiten; Cloud-Computing stellt solche gebündelten, virtualisierten Rechen- und Speicherressourcen den Nutzern bei Bedarf über das Netzwerk zur Verfügung, mit elastischer Skalierung und nutzungsbasierter Preisgestaltung.

Scope

Dieser Bereich umfasst die Entwicklung von Clustern und Grids hin zu Rechenzentren im Warehouse-Maßstab und der Cloud; die Virtualisierung und Containerisierung, die eine elastische, mandantenfähige Ressourcenfreigabe ermöglichen; Frameworks für die großskalige Datenverarbeitung (MapReduce und seine Nachfolger); sowie skalierbare verteilte Speicher- und Dateisysteme. Hier wird die Theorie des verteilten und parallelen Rechnens im Internet-Maßstab realisiert.

Sub-topics

• Big-Data-Verarbeitungs-Frameworks
• Cloud Computing und Virtualisierung
• Cluster- und Grid-Computing
• Skalierbare Speichersysteme

Core questions

• Wie werden Tausende von handelsüblichen Maschinen so organisiert, dass sie sich wie ein einziger elastischer Computer verhalten?
• Wie ermöglicht Virtualisierung eine elastische, mandantenfähige Ressourcenfreigabe?
• Wie können Datensätze, die zu groß für eine Maschine sind, zuverlässig über einen Cluster hinweg verarbeitet und gespeichert werden?

Key theories

Utility und elastisches Computing

Cloud Computing verwandelt Rechenleistung in eine gemessene Dienstleistung, die die Illusion unendlicher, elastischer Ressourcen auf Abruf vermittelt und Investitionskosten in Betriebskosten umwandelt, eine Verschiebung, die von Armbrust und Kollegen analysiert wurde.

Warehouse-Scale Computing

Die Behandlung eines gesamten Rechenzentrums als einen einzigen Computer – die Gestaltung unter Berücksichtigung der Kosten-, Energie- und Ausfallcharakteristiken von Zehntausenden von Servern – gestaltet das Systemdesign neu, wobei das Rechenzentrum als Bereitstellungseinheit dient.

Datenparallele Cluster-Verarbeitung

Frameworks wie MapReduce ermöglichen es Programmierern, massive Datensätze über einen Cluster hinweg zu verarbeiten, indem sie Berechnungen als Map- und Reduce-Funktionen ausdrücken, wobei die Laufzeitumgebung Parallelisierung, Datenverteilung und Fehlertoleranz übernimmt.

Clinical relevance

Cloud- und Cluster-Plattformen hosten im Wesentlichen alle großen Internetdienste, wissenschaftlichen und Unternehmens-Computing-Anwendungen sowie Machine-Learning-Pipelines; ihr Design bestimmt direkt die Kosten, Skalierbarkeit und Zuverlässigkeit moderner Computerinfrastruktur.

History

Cluster-Computing entwickelte sich in den 1990er Jahren aus Netzwerken von Workstations zum Grid-Computing für gemeinsame wissenschaftliche Infrastrukturen (Foster und Kollegen, 2001); Googles MapReduce und Dateisystem (2003-2008) demonstrierten die Datenverarbeitung im Warehouse-Maßstab, und der Aufstieg öffentlicher Cloud-Plattformen Ende der 2000er Jahre, analysiert von Armbrust und Kollegen, machte elastisches Utility Computing zum Mainstream.

Debates

Grid versus Cloud als Modell für gemeinsames Computing

Grid Computing betonte die Föderation über administrative Domänen hinweg für die wissenschaftliche Zusammenarbeit, während Cloud Computing Ressourcen unter einem Anbieter mit elastischer, bedarfsgerechter Preisgestaltung zentralisierte; das Cloud-Modell setzte sich kommerziell weitgehend durch, obwohl Grid-Ideen im wissenschaftlichen Computing fortbestehen.

Key figures

• Jeffrey Dean
• Sanjay Ghemawat
• Luiz Andre Barroso
• Ian Foster
• Michael Armbrust

Seminal works

• armbrust2010
• dean2008
• barroso2018

Frequently asked questions

Was ist der Unterschied zwischen Cluster-Computing und Cloud-Computing?

Ein Cluster ist eine Menge vernetzter Maschinen, die als ein System agieren und typischerweise von ihren Nutzern besessen und betrieben werden. Cloud Computing stellt gebündelte, virtualisierte Ressourcen – oft auf Clustern aufgebaut – vielen Mandanten bei Bedarf über das Netzwerk zur Verfügung, mit elastischer Skalierung und Pay-as-you-go-Preisen.