클러스터 및 그리드 컴퓨팅

클러스터 컴퓨팅은 네트워크로 연결된 기계들을 단일 고성능 시스템으로 통합하는 반면, 그리드 컴퓨팅은 조직 전반의 자원들을 공유 가상 인프라로 연합합니다.

Definition

클러스터는 병렬 또는 고처리량 컴퓨팅을 위해 단일 자원으로 관리되는 상호 연결된 컴퓨터들의 집합이며, 그리드는 이를 공통 프로토콜을 통해 가상 조직 간에 공유되는 자율적으로 관리되는 분산 자원들의 연합으로 확장합니다.

Scope

이 주제는 컴퓨팅 클러스터의 아키텍처 및 관리(상호 연결, 배치 스케줄러, 자원 관리자)와 이기종의 지리적으로 분산된 자원들을 관리 도메인 전반에 걸쳐 가상 조직으로 연합하는 그리드 컴퓨팅 패러다임을 다룹니다. 여기에는 작업 스케줄링, 자원 발견 및 할당, 그리고 매개변수 스윕(parameter-sweep) 및 병렬 처리 작업 부하(embarrassingly parallel workloads)를 위한 고처리량 컴퓨팅이 포함됩니다.

Core questions

• 공유 클러스터에서 작업은 어떻게 스케줄링되고 자원은 어떻게 할당됩니까?
• 서로 다른 조직이 소유한 자원들을 어떻게 안전하게 연합하고 공유할 수 있습니까?
• 밀접하게 결합된 병렬 컴퓨팅보다 고처리량 컴퓨팅에 가장 적합한 작업 부하는 무엇입니까?

Key theories

가상 조직 및 그리드 아키텍처

그리드 개념은 보안, 자원 관리 및 발견을 위한 계층화된 서비스를 통해 조직 경계를 넘어 컴퓨팅, 스토리지 및 데이터 자원을 공유하여 가상 조직을 형성하기 위한 프로토콜을 정의합니다.

배치 스케줄링 및 자원 관리

클러스터 자원 관리자는 활용도, 공정성 및 우선순위의 균형을 맞추는 정책에 따라 작업을 노드에 대기시키고 배치하며, 이는 클러스터와 그리드 모두에 핵심적인 기능입니다.

고처리량 컴퓨팅

많은 독립적인 작업으로 구성된 작업 부하의 경우, 시스템은 단일 계산의 지연 시간을 최소화하기보다는 유휴 및 분산된 용량을 활용하여 장기간에 걸쳐 완료된 작업 수를 최대화합니다.

Clinical relevance

클러스터와 그리드는 물리학 및 생물정보학에서부터 데이터와 컴퓨팅을 공유하는 대규모 협업에 이르기까지 과학 컴퓨팅의 기반이 되며, 이들의 스케줄링 및 자원 관리 아이디어는 오늘날의 클라우드 및 컨테이너 오케스트레이션 플랫폼에 직접적으로 적용됩니다.

History

상용 워크스테이션 클러스터는 슈퍼컴퓨터의 비용 효율적인 대안으로 1990년대에 등장했습니다. 포스터(Foster)와 케셀만(Kesselman)의 그리드 비전(1990년대 후반, 2001년 공식화)은 기관 간의 공유를 확장했으며, Condor와 같은 시스템은 클라우드의 전신이 되는 대규모 고처리량 컴퓨팅을 시연했습니다.

Key figures

• Ian Foster
• Carl Kesselman
• Miron Livny

Seminal works

• foster2001
• foster2004
• thain2005

Frequently asked questions

그리드는 단일 클러스터와 어떻게 다릅니까?

클러스터는 일반적으로 동질적이며 단일 관리 기관의 통제하에 있는 반면, 그리드는 서로 다른 조직이 소유한 이기종 자원들을 연합합니다. 따라서 그리드는 단일 클러스터가 피하는 교차 도메인 보안, 신뢰 및 자원 발견과 같은 더 어려운 문제들을 해결해야 합니다.