확장 가능한 스토리지 시스템

확장 가능한 스토리지 시스템은 단일 서버의 용량, 처리량 및 가용성을 넘어서는 기능을 제공하기 위해 여러 시스템에 데이터를 분산시키며, 개별 노드의 장애를 은폐합니다.

Definition

확장 가능한 스토리지 시스템은 여러 시스템의 클러스터에 데이터를 저장하며, 용량과 처리량을 위해 데이터를 분할하고 내구성과 가용성을 위해 복제하여, 개별 노드 장애를 허용하면서도 전체 시스템이 노드 수에 따라 확장되도록 합니다.

Scope

이 주제는 상용 클러스터용으로 설계된 분산 파일 시스템, 분산 키-값 및 와이드-컬럼 저장소, 그리고 대규모로 데이터를 분할하고 찾는 데 사용되는 구조화된 오버레이 기술(일관성 해싱 및 분산 해시 테이블)을 다룹니다. 또한 데이터 분할(샤딩), 내구성을 위한 복제, 그리고 강력한 일관성을 가진 저장소와 고가용성 저장소를 구별하는 일관성 및 가용성 트레이드오프를 다룹니다.

Core questions

• 크고 변화하는 노드 집합에서 데이터는 어떻게 분할되고 위치가 지정됩니까?
• 잦은 노드 장애에도 불구하고 내구성과 가용성은 어떻게 달성됩니까?
• 확장 가능한 저장소가 제공할 수 있는 일관성 보장은 무엇이며, 그 비용은 얼마입니까?

Key theories

클러스터 파일 시스템

Google 파일 시스템과 같은 시스템은 대규모 파일을 상용 서버에 복제된 청크로 저장하며, 대규모 순차 액세스에 최적화되어 있고 장애를 예외가 아닌 일반적인 현상으로 간주합니다.

분산 구조화 저장소

Bigtable 및 Dynamo와 같은 와이드-컬럼 및 키-값 저장소는 키를 기준으로 노드에 데이터를 분할하고 복제하며, 쿼리 표현력과 일관성을 희생하는 대신 수평적 확장성과 가용성을 얻습니다.

일관성 해싱 및 분산 해시 테이블

일관성 해싱은 키와 노드를 링에 매핑하여 노드를 추가하거나 제거할 때 키의 작은 부분만 이동하도록 하며, Chord와 같은 분산 해시 테이블은 로그 시간 라우팅을 통해 확장 가능하고 분산된 키 조회를 제공합니다.

Clinical relevance

확장 가능한 스토리지는 클라우드 플랫폼과 대규모 웹 서비스의 견고한 기반입니다. 객체 저장소, 데이터베이스, 분석 파이프라인은 모두 분산 파일 시스템과 키-값 저장소에 기반을 두고 있으며, 이들의 분할 및 복제 선택은 시스템의 내구성 및 일관성 보장을 결정합니다.

History

Chord(2001)와 같은 P2P 분산 해시 테이블은 확장 가능한 분산 조회를 보여주었고, Google의 파일 시스템(2003)과 Bigtable(2006-2008)은 구조화된 데이터에 대한 클러스터 규모 스토리지를 시연했습니다. 그리고 Amazon의 Dynamo(2007)는 고가용성 키-값 스토리지를 대중화하여 현대의 확장 가능한 스토리지 및 NoSQL 환경을 구축하는 데 기여했습니다.

Debates

스토리지의 강력한 일관성 대 고가용성

강력한 일관성을 가진 저장소는 애플리케이션 로직을 단순화하지만 파티션 상황에서 가용성을 희생해야 하는 반면, Dynamo와 같은 고가용성 저장소는 일시적인 불일치를 허용하고 충돌 해결을 애플리케이션으로 미룹니다. 올바른 선택은 데이터의 오래된 정보 허용도에 따라 달라집니다.

Key figures

• Sanjay Ghemawat
• Werner Vogels
• Ion Stoica
• Hari Balakrishnan

Seminal works

• ghemawat2003
• decandia2007
• stoica2001

Frequently asked questions

일관성 해싱은 어떤 문제를 해결합니까?

키를 해싱하여 노드에 데이터를 분할할 때, 노드를 추가하거나 제거하면 단순 해싱은 거의 모든 것을 재배치합니다. 일관성 해싱은 키와 노드를 링에 배열하여 이러한 변경이 키의 작고 제한된 부분만 재배치하도록 하며, 이는 탄력적이고 변동이 심한 클러스터에 필수적입니다.