VC 차원 및 용량

바프닉-체르보넨키스 차원은 모델 클래스가 가능한 모든 방식으로 레이블을 지정할 수 있는 가장 큰 점 집합을 측정하여 학습자의 복잡성을 정량화함으로써 모델 클래스의 용량을 측정합니다.

Definition

분류기 클래스의 바프닉-체르보넨키스 차원은 해당 클래스가 가능한 모든 방식으로 레이블을 지정할 수 있는 가장 많은 점의 수입니다. 이는 클래스가 얼마나 과적합될 수 있는지, 따라서 신뢰할 수 있는 학습을 위해 얼마나 많은 데이터가 필요한지를 제한하는 용량 측정값입니다.

Scope

이 주제는 가설 클래스의 풍부함을 측정하는 방법, 즉 점 집합을 산산조각 내는 개념, 가장 큰 산산조각 난 집합의 크기로서의 바프닉-체르보넨키스 차원, 성장 함수, 그리고 이러한 용량 측정값이 일반화 경계에 어떻게 포함되는지를 다룹니다. 이는 매개변수의 수만이 아닌 용량이 일반화 능력을 지배하는 이유를 설명합니다.

Core questions

• 모델 클래스가 점 집합을 산산조각 낸다는 것은 무엇을 의미합니까?
• 바프닉-체르보넨키스 차원은 어떻게 정의되고 계산됩니까?
• 매개변수 개수가 아닌 용량이 일반화를 지배하는 이유는 무엇입니까?
• 용량은 훈련 오차와 실제 오차 사이의 간격에 대한 경계에 어떻게 영향을 미칩니까?

Key theories

산산조각 내기(Shattering)와 용량

클래스가 점 집합을 산산조각 낸다는 것은 해당 점들에 대한 가능한 모든 레이블링을 실현할 수 있음을 의미합니다. 이러한 가장 큰 집합은 클래스가 얼마나 유연한지를 나타내는 분포에 구애받지 않는 측정값인 바프닉-체르보넨키스 차원을 정의합니다.

용량은 균일 수렴을 제어합니다

유한한 용량은 경험적 오차가 클래스 전체에 걸쳐 균일하게 실제 오차로 수렴하도록 보장하므로, 바프닉-체르보넨키스 차원이 제한된 학습자는 데이터가 증가함에 따라 임의로 과적합될 수 없습니다.

용량 대 매개변수 개수

일반화는 매개변수의 원시 개수가 아닌 용량에 의해 결정되므로, 동일한 매개변수 개수를 가진 두 모델은 필요한 데이터 양에서 크게 다를 수 있습니다.

Clinical relevance

바프닉-체르보넨키스 차원은 고전 학습 이론의 핵심 용량 측정값을 제공하며 모델 복잡성을 제어하는 관행을 정당화합니다. 이는 서포트 벡터 머신의 마진 기반 분석의 기초가 되며, 일부 매우 높은 용량의 모델이 그럼에도 불구하고 일반화되는 이유를 이해하려는 지속적인 노력의 틀을 제공합니다.

History

바프닉과 체르보넨키스는 1960년대 후반의 연구와 1971년 균일 수렴에 관한 논문에서 그들의 이름을 딴 차원을 도입하여 분포에 구애받지 않는 용량 이론을 확립했습니다. 이 개념은 서포트 벡터 머신과 일반화에 대한 광범위한 분석의 기초가 되었습니다.

Key figures

• Vladimir Vapnik
• Alexey Chervonenkis

Seminal works

• vapnik1971
• vapnik1995
• hastie2009

Frequently asked questions

산산조각 내기(Shattering)는 무엇을 의미합니까?

점 집합이 모델 클래스에 의해 산산조각 난다는 것은 해당 점들에 대한 가능한 모든 레이블 할당에 대해 클래스 내의 일부 모델이 정확히 그 레이블링을 생성한다는 것을 의미합니다. 산산조각 낼 수 있는 가장 큰 집합의 크기가 바프닉-체르보넨키스 차원입니다.

매개변수가 더 많은 모델이 항상 용량이 더 높습니까?

반드시 그렇지는 않습니다. 용량은 바프닉-체르보넨키스 차원 또는 관련 양으로 측정되며, 이는 매개변수 개수와 다를 수 있습니다. 일반화에 대한 복잡성의 올바른 측정값은 모델이 가진 매개변수의 수만이 아니라 용량입니다.