모형 선택 및 진단

모형 선택 및 진단은 회귀 모형에 포함될 예측 변수를 결정하고 적합된 모형이 신뢰할 수 있는지 여부를 판단하는 단계입니다. 선택은 예측 변수를 선택하고 구조화하며, 진단은 잔차, 영향력 있는 관측치 및 가정을 검토하고, 검증은 모형이 구축되지 않은 데이터에서 성능을 발휘하는지 확인합니다. 이들은 과적합과 오해의 소지가 있는 결론을 방지하는 역할을 합니다.

Definition

모형 선택은 회귀 모형에 포함할 예측 변수와 함수 형태를 결정하는 과정이며, 모형 진단은 적합된 모형이 가정을 충족하고 적절하게 작동하는지 판단하는 데 사용되는 절차(잔차 분석, 영향력 측정, 적합도 및 교정 평가, 검증)입니다.

Scope

이 항목은 회귀 모형 구축 전략(단계적 및 전체 모형 접근 방식과 데이터 기반 선택의 위험 포함), 가정을 확인하기 위한 잔차 및 영향 진단, 판별력 및 교정(calibration)과 같은 적합도 및 예측 성능 측정, 내부 및 외부 검증을 다룹니다. 이는 선형 및 로지스틱 모형 전반에 적용되며, 임상 지침이 아닌 방법론적 주제입니다.

Core questions

• 예측 변수는 어떻게 선택되며, 자동화된 단계적 선택이 비판받는 이유는 무엇입니까?
• 잔차와 영향력 있는 관측치는 모형을 확인하는 데 어떻게 사용됩니까?
• 판별력과 교정의 차이점은 무엇입니까?
• 예측 모형은 구축된 데이터만으로 판단하지 않고 검증되어야 하는 이유는 무엇입니까?
• 과적합과 낙관주의는 겉보기 성능을 어떻게 왜곡합니까?

Key concepts

• 변수(예측 변수) 선택
• 단계적 선택과 그 함정
• 잔차 분석
• 영향력 있는 관측치 및 지렛대 효과
• 적합도
• 판별력과 교정
• 과적합과 낙관주의
• 내부 및 외부 검증

Mechanisms

회귀 모형을 구축하는 것은 어떤 예측 변수를 어떤 형태로 포함할지, 그리고 상호작용이 필요한지 여부를 선택하는 것을 포함합니다. 유의성에 따라 예측 변수를 추가하거나 제거하는 자동화된 단계적 절차는 우연에 의존하고, 불안정한 모형을 생성하며, 낙관적인 추정치를 산출하기 때문에 널리 비판받고 있습니다. 진단은 적합된 모형을 검토합니다. 잔차 플롯은 선형성 및 비정상 분산으로부터의 이탈을 나타내고, 영향력 측정은 적합에 불균형적으로 영향을 미치는 관측치를 식별합니다. 성능은 적합도와 예측의 경우 판별력(모형이 결과를 얼마나 잘 구분하는지) 및 교정(예측된 위험과 관찰된 위험이 얼마나 밀접하게 일치하는지)으로 판단됩니다. 동일한 데이터로 적합되고 평가된 모형은 실제보다 더 좋게 보이기 때문에(과적합으로 인한 낙관주의), 정직한 성능을 추정하기 위해서는 내부 검증(예: 재표집)과 이상적으로는 새로운 데이터에 대한 외부 검증이 필요합니다.

Clinical relevance

진단 및 예후 모형은 임상 위험 의사소통의 많은 부분을 알려주며, 이러한 모형이 적절하게 선택, 확인 및 검증되었는지 여부는 예측의 신뢰도를 결정합니다. 이러한 단계를 평가하는 것은 예측 모형 연구를 읽는 데 중요한 부분입니다. 이 항목은 방법을 설명하며 개별 진단 또는 치료 결정의 근거가 아닙니다.

Evidence & guidelines

TRIPOD 성명서는 다변량 예측 모형을 개발하거나 검증하는 연구에 대한 보고 표준을 제공하며, BMJ 예후 연구 시리즈는 이러한 모형을 구축, 검증 및 보고하기 위한 권장 사례를 제시합니다. Harrell의 텍스트는 데이터 기반 선택을 피하고 낙관주의를 정량화하는 데 중점을 둔 완전한 모형 구축 및 검증 전략을 상세히 설명합니다.

History

회귀 분석이 의학 연구의 중심이 되면서, 데이터 기반 예측 변수 선택과 검증되지 않은 적합이 개발 단계에서는 인상적으로 보이지만 새로운 환자에게는 실패하는 모형을 생성한다는 우려가 커졌습니다. 1990년대 이후 방법론자들은 진단, 내부 및 외부 검증, 판별력과 교정의 구별을 강조했으며, 이는 예측 모형 연구에 대한 합의 보고 지침, 특히 TRIPOD 성명서로 이어졌습니다.

Debates

예측 변수는 자동화된 단계적 선택으로 선택되어야 합니까?

유의성 검정에 의해 주도되는 단계적 선택은 과적합을 유발하고, 불안정한 예측 변수 집합을 생성하며, 낙관적으로 편향된 추정치를 제공하기 때문에 널리 권장되지 않습니다. 축소(shrinkage) 및 적절한 검증을 통해 주제 지식에 의해 정보가 제공되는 사전 지정된 모형이 일반적으로 선호됩니다.

예측 모형에 외부 검증이 필수적인 것으로 간주되는 이유는 무엇입니까?

개발 데이터에서만 평가된 모형은 과적합으로 인해 실제보다 더 좋게 보입니다. 예측이 일반화되는지 판단하기 위해서는 독립적인 데이터에 대한 성능이 필요하며, 이것이 보고 표준에서 검증을 강조하는 이유입니다.

Key figures

• Frank Harrell
• Douglas Altman
• Karel Moons
• Patrick Royston
• Gary Collins

Seminal works

• harrell-2015
• collins-2015-tripod

Frequently asked questions

판별력과 교정의 차이점은 무엇입니까?

판별력은 모형이 결과가 있는 개인과 없는 개인을 얼마나 잘 구분하는지를 나타내며, 교정은 모형의 예측된 확률이 관찰된 빈도와 얼마나 밀접하게 일치하는지를 나타냅니다. 모형은 판별력이 좋으면서도 교정이 좋지 않을 수 있으므로 둘 다 평가해야 합니다.

단계적 변수 선택이 권장되지 않는 이유는 무엇입니까?

자동화된 단계적 선택은 우연한 연관성에 의존하고, 표본마다 달라지는 불안정한 예측 변수 집합을 생성하며, 낙관적으로 편향된 계수와 성능을 산출합니다. 따라서 적절한 검증을 거친 사전 지정된 모형이 일반적으로 선호됩니다.