クラスターコンピューティングとグリッドコンピューティング

クラスターコンピューティングは、ネットワーク化されたマシンを単一の高性能システムに集約する一方、グリッドコンピューティングは、組織間のリソースを共有仮想インフラストラクチャに統合します。

Definition

クラスターとは、並列計算または高スループット計算のために単一のリソースとして管理される、相互接続されたコンピューターの集合体です。グリッドはこれを拡張し、共通のプロトコルを通じて仮想組織間で共有される、自律的に管理された分散リソースの連合体を指します。

Scope

このトピックでは、計算クラスターのアーキテクチャと管理（相互接続、バッチスケジューラー、リソースマネージャー）と、異種で地理的に分散したリソースを管理ドメインを越えて仮想組織に統合するグリッドコンピューティングパラダイムについて扱います。ジョブスケジューリング、リソース発見と割り当て、およびパラメーター探索やembarrassingly parallelなワークロードのための高スループットコンピューティングをカバーします。

Core questions

• 共有クラスター全体でジョブはどのようにスケジューリングされ、リソースはどのように割り当てられますか？
• 異なる組織が所有するリソースは、どのように統合され、安全に共有できますか？
• 密結合並列コンピューティングではなく、高スループットコンピューティングに最も適したワークロードは何ですか？

Key theories

仮想組織とグリッドアーキテクチャ

グリッドの概念は、組織の境界を越えて計算、ストレージ、データリソースを共有し、仮想組織を形成するためのプロトコルを定義しており、セキュリティ、リソース管理、発見のための階層化されたサービスを備えています。

バッチスケジューリングとリソース管理

クラスターリソースマネージャーは、利用率、公平性、優先順位のバランスをとるポリシーに従って、ジョブをキューに入れ、ノードに配置します。これはクラスターとグリッドの両方にとって中心的な機能です。

高スループットコンピューティング

多数の独立したタスクで構成されるワークロードの場合、システムはアイドル状態の分散容量を活用し、単一の計算の遅延を最小限に抑えるのではなく、長期間にわたって完了したジョブを最大化します。

Clinical relevance

クラスターとグリッドは、物理学やバイオインフォマティクスから、データと計算を共有する大規模な共同研究に至るまで、科学計算の基盤となっており、そのスケジューリングとリソース管理の概念は、今日のクラウドおよびコンテナオーケストレーションプラットフォームに直接引き継がれています。

History

コモディティワークステーションのクラスターは、スーパーコンピューターに代わる費用対効果の高い選択肢として1990年代に出現しました。フォスターとケッセルマンのグリッドビジョン（1990年代後半、2001年に正式化）は、機関を越えた共有を拡張し、Condorのようなシステムは、クラウドを先取りする大規模な高スループットコンピューティングを実証しました。

Key figures

• Ian Foster
• Carl Kesselman
• Miron Livny

Seminal works

• foster2001
• foster2004
• thain2005

Frequently asked questions

グリッドは単一のクラスターとどのように異なりますか？

クラスターは通常、均質で単一の管理権限下にありますが、グリッドは異なる組織が所有する異種のリソースを統合します。したがって、グリッドは、単一のクラスターでは回避される、ドメイン間のセキュリティ、信頼、リソース発見といったより困難な問題を解決する必要があります。