Calcul en grappe et en grille

Le calcul en grappe agrège des machines en réseau en un système unique de haute performance, tandis que le calcul en grille fédère des ressources entre organisations au sein d'une infrastructure virtuelle partagée.

Definition

Une grappe est une collection d'ordinateurs interconnectés gérés comme une ressource unique pour le calcul parallèle ou à haut débit ; une grille étend ce concept à une fédération de ressources distribuées et administrées de manière autonome, partagées au sein d'une organisation virtuelle via des protocoles communs.

Scope

Ce sujet aborde l'architecture et la gestion des grappes de calcul (interconnexions, ordonnanceurs de tâches et gestionnaires de ressources), ainsi que le paradigme du calcul en grille qui fédère des ressources hétérogènes et géographiquement distribuées à travers des domaines administratifs en organisations virtuelles. Il couvre l'ordonnancement des tâches, la découverte et l'allocation des ressources, et le calcul à haut débit pour les charges de travail de balayage de paramètres et les charges de travail massivement parallèles (embarrassingly parallel).

Core questions

• Comment les tâches sont-elles ordonnancées et les ressources allouées au sein d'une grappe partagée ?
• Comment les ressources appartenant à différentes organisations peuvent-elles être fédérées et partagées de manière sécurisée ?
• Quelles charges de travail sont le mieux prises en charge par le calcul à haut débit plutôt que par le calcul parallèle fortement couplé ?

Key theories

Organisations virtuelles et architecture de grille

Le concept de grille définit des protocoles pour le partage des ressources de calcul, de stockage et de données au-delà des frontières organisationnelles afin de former des organisations virtuelles, avec des services en couches pour la sécurité, la gestion des ressources et la découverte.

Ordonnancement par lots et gestion des ressources

Les gestionnaires de ressources de grappe mettent en file d'attente et placent les tâches sur les nœuds selon des politiques équilibrant l'utilisation, l'équité et la priorité, une fonction centrale tant pour les grappes que pour les grilles.

Calcul à haut débit

Pour les charges de travail composées de nombreuses tâches indépendantes, les systèmes exploitent la capacité inactive et distribuée afin de maximiser le nombre de tâches achevées sur de longues périodes, plutôt que de minimiser la latence d'un calcul unique.

Clinical relevance

Les grappes et les grilles sous-tendent le calcul scientifique — de la physique et de la bioinformatique aux grandes collaborations partageant des données et des ressources de calcul — et leurs concepts d'ordonnancement et de gestion des ressources se retrouvent directement dans les plateformes actuelles de cloud et d'orchestration de conteneurs.

History

Les grappes de stations de travail commerciales sont apparues dans les années 1990 comme une alternative rentable aux supercalculateurs ; la vision de la grille de Foster et Kesselman (fin des années 1990, formalisée en 2001) a étendu le partage entre institutions, et des systèmes comme Condor ont démontré un calcul à haut débit à grande échelle qui a préfiguré le cloud.

Key figures

• Ian Foster
• Carl Kesselman
• Miron Livny

Seminal works

• foster2001
• foster2004
• thain2005

Frequently asked questions

En quoi une grille diffère-t-elle d'une grappe unique ?

Une grappe est généralement homogène et sous une autorité administrative unique, tandis qu'une grille fédère des ressources hétérogènes appartenant à différentes organisations. Les grilles doivent donc résoudre des problèmes plus complexes de sécurité inter-domaines, de confiance et de découverte de ressources que ceux qu'une grappe unique n'a pas à gérer.