프로그램 평가 및 영향 평가

프로그램 평가는 건강 증진 프로그램이 얼마나 잘 전달되었고 어떤 효과를 냈는지 판단하기 위해 해당 프로그램에 대한 정보를 체계적으로 수집하고 해석하는 과정입니다. 이는 프로그램이 계획대로 실행되었는지, 그리고 의도한 대상에게 도달했는지 검토하는 과정 평가와 행동, 건강 및 기타 목표 결과의 변화를 평가하는 결과 및 영향 평가를 구분합니다.

Definition

프로그램 평가는 정의된 기준과 증거를 사용하여 프로그램의 설계, 구현 및 결과를 체계적으로 평가하는 것이며, 영향 평가는 프로그램에 귀인할 수 있는 행동, 건강 또는 기타 결과의 변화를 추정하는 구성 요소입니다.

Scope

이 주제는 평가의 목적과 주요 유형, 과정 평가와 결과 또는 영향 평가의 차이점, 건강 증진에 사용되는 평가 프레임워크, 그리고 프로그램에 변화를 귀인시키는 방법론적 과제를 다룹니다. 이는 프로그램이 어떻게 평가되는지에 대한 참고-교육적 개요이며, 특정 프로그램을 평가하기 위한 프로토콜은 아닙니다.

Core questions

• 과정 평가, 결과 평가, 영향 평가의 차이점은 무엇입니까?
• 결과의 변화가 다른 영향이 아닌 프로그램에 어떻게 귀인될 수 있습니까?
• 프로그램의 실제 공중 보건 영향을 판단할 때 어떤 차원이 중요합니까?
• 효과성과 함께 도달률과 지속 가능성은 어떻게 평가됩니까?

Key concepts

• 과정 대 결과 및 영향 평가
• 도달률, 효과성, 채택, 구현, 유지보수 (RE-AIM)
• 귀인 및 반사실적 비교
• 형성 평가 및 총괄 평가
• 지속 가능성 평가
• 혼합 방법 평가

Key theories

RE-AIM 프레임워크

도달률(Reach), 효과성(Effectiveness), 채택(Adoption), 구현(Implementation), 유지보수(Maintenance)를 평가하는 프레임워크로, 효능만을 넘어 프로그램의 실제 공중 보건 영향을 포착하도록 설계되었습니다.

Mechanisms

평가는 질문에 맞는 방법을 사용합니다. 과정 평가는 실제로 무엇이, 누구에게, 어떤 충실도와 도달률로 전달되었는지 문서화하며, 이는 프로그램이 이론적으로 실패했는지 또는 실행에서 실패했는지 해석하는 데 도움이 됩니다. 결과 및 영향 평가는 뒤따른 행동 및 건강의 변화를 추정하며, 이상적으로는 비교 조건과 대조하여 변화가 세속적 추세나 다른 영향이 아닌 프로그램에 귀인될 수 있도록 합니다. RE-AIM과 같은 프레임워크는 효과성만을 넘어 도달률, 채택, 구현 및 유지보수로 시야를 넓혀, 인구 집단에 미치는 영향이 프로그램이 얼마나 많은 사람들에게 도달하는지, 그리고 그 효과가 지속되는지에 달려 있음을 인식합니다. 혼합 방법 설계는 정량적 결과 측정과 효과가 어떻게, 왜 발생했는지에 대한 질적 통찰을 결합합니다.

Clinical relevance

평가 증거는 어떤 예방 및 교육 프로그램이 계속하거나 확장할 가치가 있다고 판단되는지 결정하며, 이를 이해하는 것은 프로그램 보고서를 비판적으로 읽는 데 도움이 됩니다. 이 주제는 프로그램이 어떻게 평가되는지 설명하며, 증거 생성을 특징화하고 개별 임상 결정의 근거가 아닙니다.

Evidence & guidelines

RE-AIM 프레임워크(Glasgow et al., 1999)는 실제 공중 보건 영향을 평가하는 데 널리 사용되는 참고 자료이며, Green과 Kreuter의 계획 텍스트는 평가를 PRECEDE-PROCEED 모델에 통합합니다. 지역사회 개입 시험에 대한 검토(Sorensen et al., 1998)는 귀인 과제를 논의하고, 지속 가능성에 대한 연구(Shediac-Rizkallah & Bone, 1998)는 유지보수를 다루며, Palinkas et al. (2019)은 혼합 방법 평가 접근 방식을 검토합니다.

History

평가는 자금 제공자와 실무자들이 프로그램 투자에 대한 책임성을 추구함에 따라 건강 증진의 핵심이 되었습니다. PRECEDE-PROCEED와 같은 계획 프레임워크는 처음부터 프로그램 설계에 평가를 포함시켰고, 1999년 RE-AIM의 도입은 통제된 환경에서의 효능에서 실제 조건에서의 도달률과 영향으로 관심을 전환시켰습니다. 이후의 연구는 평가를 지속 가능성과 결과 측정과 과정 이해를 결합하는 혼합 방법 접근 방식을 포함하도록 확장했습니다.

Debates

귀인 및 적절한 비교

동시적인 영향이 아닌 프로그램이 관찰된 변화를 야기했음을 입증하려면 적절한 반사실적 비교가 필요하지만, 무작위 배정이 종종 비실용적인 지역사회 환경에서는 어렵습니다. 비교 대상의 선택은 여전히 핵심적인 평가 과제로 남아 있습니다.

Key figures

• Russell E. Glasgow
• Lawrence W. Green
• Marshall W. Kreuter
• Glorian Sorensen
• Lawrence A. Palinkas

Seminal works

• glasgow-1999
• sorensen-1998

Frequently asked questions

과정 평가와 결과 평가의 차이점은 무엇입니까?

과정 평가는 프로그램이 계획대로 전달되었는지, 그리고 의도한 대상에게 도달했는지 검토하는 반면, 결과 및 영향 평가는 뒤따른 행동, 건강 또는 기타 목표 결과의 변화를 평가합니다.

프로그램 평가에서 귀인이 어려운 이유는 무엇입니까?

관찰된 변화는 프로그램 자체 또는 세속적 추세와 같은 다른 영향으로 인해 발생할 수 있습니다. 적절한 비교 또는 반사실적 비교가 없으면 프로그램 자체가 변화를 야기했다고 결론 내리기 어렵습니다.