계층적 군집 분석

계층적 군집 분석은 연결 기준(linkage criterion)에 따라 그룹을 연속적으로 병합하거나 분할함으로써 덴드로그램(dendrogram)으로 시각화되는 중첩된 군집 시퀀스를 구축합니다.

Definition

계층적 군집 분석은 선택된 군집 간 거리(between-cluster distance)에 따라 가장 유사한 군집들을 반복적으로 결합하거나 가장 응집력이 낮은 군집들을 분할함으로써 중첩된 분할 트리(tree of nested partitions)를 생성하는 군집화 접근 방식입니다.

Scope

이 주제는 병합형(상향식) 및 분할형(하향식) 계층적 군집화, 단일 연결(single linkage), 완전 연결(complete linkage), 평균 연결(average linkage), 그리고 Ward의 최소 분산 연결(Ward's minimum-variance linkage)과 같은 일반적인 연결 규칙, 덴드로그램의 구성 및 해석, 그리고 평면 분할(flat partition)을 얻기 위한 트리 절단에 대해 다룹니다.

Core questions

• 쌍별 비유사성(pairwise dissimilarities)으로부터 중첩된 군집화 계열을 어떻게 구성할 수 있는가?
• 서로 다른 연결 규칙이 결과 군집의 형태에 어떻게 영향을 미치는가?
• 덴드로그램은 어떻게 읽고 어디에서 절단해야 하는가?
• 단일 평면 분할보다 계층적 구조가 더 유익한 경우는 언제인가?

Key theories

연결 정의 병합

병합형 군집화(agglomerative clustering)는 연결 정의(linkage definition)에 따라 가장 가까운 두 군집을 반복적으로 병합합니다. 단일 연결, 완전 연결, 평균 연결, Ward 연결은 군집 간 거리의 서로 다른 개념을 인코딩하며 특징적으로 다른 군집 형태를 생성합니다.

덴드로그램 표현

병합 시퀀스는 병합 높이(merge heights)가 비유사성(dissimilarity)을 기록하는 덴드로그램으로 인코딩되며, 이는 선택된 높이에서 트리를 절단함으로써 원하는 수의 군집을 얻을 수 있도록 합니다.

Clinical relevance

계층적 군집화는 분류 체계 구축, 유전자 발현 히트맵(gene-expression heatmaps) 정리, 문서 또는 유기체 유사성 탐색과 같이 중첩된 그룹화가 자연스럽거나 유익한 경우에 널리 사용됩니다.

History

계층적 그룹화 방법은 1960년대 초에 Ward의 최소 분산 기준을 포함하여 공식화되었으며, 컴퓨터 기술의 발전으로 덴드로그램 구성이 일상화되면서 수치 분류학(numerical taxonomy) 및 탐색적 데이터 분석(exploratory data analysis)의 주요 도구가 되었습니다.

Debates

연결 방식의 선택

단일 연결은 군집들을 서로 연결시키는 경향이 있는 반면, 완전 연결은 밀집된 그룹을 생성하는 경향이 있고, Ward의 방법은 크기가 동일한 구형 군집을 선호하므로, 연결 방식의 선택은 결과에 강하게 영향을 미치며 유일하게 올바른 경우는 드뭅니다.

Key figures

• Joe Ward
• Peter Rousseeuw

Seminal works

• everitt2011
• kaufman1990
• wardjr1963

Frequently asked questions

병합형 군집화와 분할형 군집화의 차이점은 무엇입니까?

병합형 군집화는 각 객체를 자체 군집으로 시작하여 위로 병합하는 반면, 분할형 군집화는 하나의 군집으로 시작하여 아래로 분할합니다. 실제로는 병합형 방법이 훨씬 더 일반적입니다.

덴드로그램에서 군집의 수를 어떻게 선택합니까?

트리를 선택된 높이에서 절단함으로써 선택하며, 종종 병합 높이가 급격히 점프하는 지점에서 절단합니다. 이는 아래에서 병합된 그룹보다 훨씬 덜 유사한 그룹들을 결합하는 것에 해당합니다.