측정 타당도 및 신뢰도

타당도와 신뢰도는 품질 측정이 신뢰할 수 있는지 여부를 결정하는 두 가지 핵심 속성입니다. 타당도는 측정이 주장하는 품질 측면을 실제로 포착하는지 여부와 관련이 있으며, 신뢰도는 동일한 조건에서 반복적으로 적용될 때 측정이 일관된 결과를 생성하는지 여부와 관련이 있습니다. 측정 결과가 품질에 대한 판단이나 조치 결정의 근거가 되기 전에 측정은 신뢰할 수 있고 타당해야 합니다.

Definition

신뢰도는 측정이 반복적인 적용, 평가자 또는 항목 전반에 걸쳐 일관되고 재현 가능한 결과를 산출하는 정도이며, 타당도는 측정이 평가하려는 근본적인 구성 개념(여기서는 의료 품질의 한 측면)을 정확하게 반영하는 정도입니다.

Scope

이 항목은 품질 지표 및 도구에 적용되는 타당도와 신뢰도의 주요 형태, 이를 정량화하는 데 일반적으로 사용되는 통계, 그리고 결과가 따르는 측정에 두 속성이 중요한 이유를 다룹니다. 이는 방법론적 참고 자료이며 특정 도구에 대한 임상 점수 임계값을 제공하지 않습니다.

Core questions

• 품질 측정이 타당하다는 것은 무엇을 의미하며, 타당도는 어떻게 평가됩니까?
• 신뢰도는 타당도와 어떻게 구별되며, 둘 다 왜 필요합니까?
• 내적 일관성과 평가자 간 일치도를 정량화하는 통계는 무엇입니까?
• 낮은 타당도 또는 신뢰도가 품질에 대한 판단을 어떻게 오도할 수 있습니까?

Key concepts

• 내용 타당도
• 구성 타당도
• 준거 타당도
• 내적 일관성 (크론바흐 알파)
• 평가자 간 신뢰도 (코헨 카파)
• 검사-재검사 신뢰도
• 측정 오차 및 무작위 변동

Key theories

신뢰도의 고전 검사 이론

고전 검사 이론은 관찰된 측정을 참값과 무작위 오차의 합으로 간주하므로, 신뢰도는 오차보다는 참 차이에 기인하는 관찰된 분산의 비율입니다. 크론바흐 알파 계수는 동일한 구성 개념을 측정하려는 항목들 간의 내적 일관성으로 이를 한 형태로 구현합니다.

Mechanisms

신뢰도는 반복 측정 전반의 일관성을 조사하여 평가됩니다. 여기에는 항목 간의 내적 일관성, 평가자 간의 일치도, 그리고 근본적인 상태가 변하지 않았을 때 시간 경과에 따른 안정성이 포함됩니다. 크론바흐 알파(Cronbach's alpha)는 다항목 척도의 내적 일관성을 요약하며, 코헨 카파(Cohen's kappa)는 범주형 판단에 대한 두 평가자 간의 일치도를 우연에 의한 일치도를 보정하여 정량화합니다. 타당도는 측정이 의도한 구성 개념을 반영한다는 증거를 축적하여 평가됩니다. 여기에는 내용 타당도(개념의 포괄적인 범위), 구성 타당도(다른 측정치와의 예상 관계), 준거 타당도(참조 표준과의 일치)가 포함됩니다. 측정은 신뢰할 수 있지만 타당하지 않을 수 있으며, 일관되게 잘못된 것을 측정할 수 있습니다. 그러나 무작위 오류가 측정이 목표를 얼마나 잘 추적할 수 있는지를 제한하기 때문에 신뢰할 수 없으면 타당할 수 없습니다.

Clinical relevance

품질 지표 또는 환자 보고 도구가 보고, 인증 또는 인센티브에 사용되기 전에, 관찰된 차이가 측정 오류가 아닌 실제 품질 변화를 반영하도록 타당도와 신뢰도가 확립되어야 합니다. 이러한 속성은 모든 품질 측정 프로그램을 해석하는 데 중요합니다. 이 항목은 측정 속성을 설명하며 개별 환자에 대한 임상 점수 규칙의 출처가 아닙니다.

Evidence & guidelines

통계적 기초는 크론바흐 알파 계수(Cronbach's coefficient alpha)와 코헨 카파(Cohen's kappa)에서 비롯되며, 건강 측정에 대한 적용 지침은 스트라이너와 노먼(Streiner and Norman)의 저서에 통합되어 있습니다. 지표 분류 지침은 이러한 속성을 품질 측정 내에 위치시킵니다. 이 출처들은 방법론적 내용 때문에 인용되었으며 임상 지침은 아닙니다.

History

타당도와 신뢰도의 개념은 20세기 중반 심리측정학 내에서 공식화되었으며, 1951년 크론바흐 알파와 1960년 코헨 카파는 표준 도구가 되었습니다. 의료 분야에서 환자 보고 도구와 품질 지표를 채택함에 따라 이러한 심리측정학적 원칙은 의료 측정으로 이어졌고 스트라이너와 노먼의 저서와 같은 실용적인 지침서에 성문화되었습니다.

Debates

크론바흐 알파는 신뢰도의 충분한 측정치입니까?

알파는 널리 보고되지만 항목 수에 따라 달라지며 단일 기본 차원을 가정합니다. 높은 알파는 좋은 측정보다는 중복성을 반영할 수 있으며, 단일 차원성이나 타당도를 확립하지 못하므로 보완적인 증거가 필요하다는 주장이 제기됩니다.

Key figures

• Lee Cronbach
• Jacob Cohen
• David Streiner
• Geoffrey Norman

Seminal works

• cronbach-1951
• cohen-1960
• streiner-norman-2015

Frequently asked questions

측정이 신뢰할 수 있지만 타당하지 않을 수 있습니까?

네. 측정은 매우 일관된 결과를 제공하면서도 일관되게 잘못된 것을 포착할 수 있습니다. 신뢰도는 타당도를 위해 필수적이지만 보장하지는 않습니다. 측정은 또한 평가하려는 구성 개념을 반영한다는 것이 입증되어야 합니다.

평가자 간 일치도를 평가할 때 우연을 보정하는 이유는 무엇입니까?

두 평가자는 특히 범주가 적을 때 순전히 우연에 의해 때때로 일치할 것입니다. 코헨 카파는 관찰된 일치도를 우연에 의해 예상되는 일치도에 대해 조정하여 실제 신뢰도에 대한 더 정직한 추정치를 제공합니다.