Programmevaluation und Wirkungsanalyse

Programmevaluation ist die systematische Sammlung und Interpretation von Informationen über ein Gesundheitsförderungsprogramm, um zu beurteilen, wie gut es durchgeführt wurde und welche Effekte es erzielt hat. Sie unterscheidet zwischen Prozessevaluation, die untersucht, ob das Programm wie geplant umgesetzt wurde und seine Zielgruppe erreichte, und Ergebnis- und Wirkungsanalyse, die Veränderungen im Verhalten, in der Gesundheit und anderen angestrebten Ergebnissen bewertet.

Definition

Programmevaluation ist die systematische Bewertung des Designs, der Implementierung und der Ergebnisse eines Programms unter Verwendung definierter Kriterien und Evidenz; Wirkungsanalyse ist die Komponente, die die dem Programm zuzuschreibenden Veränderungen im Verhalten, in der Gesundheit oder anderen Ergebnissen schätzt.

Scope

Das Thema behandelt die Zwecke und Haupttypen der Evaluation, den Unterschied zwischen Prozess- und Ergebnis- oder Wirkungsanalyse, in der Gesundheitsförderung verwendete Evaluationsrahmen und die methodischen Herausforderungen der Zuschreibung von Veränderungen zu einem Programm. Es handelt sich um eine referenzielle, bildende Übersicht darüber, wie Programme evaluiert werden, nicht um ein Protokoll zur Evaluation eines spezifischen Programms.

Core questions

• Was ist der Unterschied zwischen Prozess-, Ergebnis- und Wirkungsanalyse?
• Wie können Veränderungen in den Ergebnissen einem Programm und nicht anderen Einflüssen zugeschrieben werden?
• Welche Dimensionen sind bei der Beurteilung der realen Public-Health-Wirkung eines Programms wichtig?
• Wie werden Reichweite und Nachhaltigkeit neben der Effektivität bewertet?

Key concepts

• Prozess- versus Ergebnis- und Wirkungsanalyse
• Reichweite, Effektivität, Adoption, Implementierung, Aufrechterhaltung (RE-AIM)
• Attribution und kontrafaktischer Vergleich
• Formative und summative Evaluation
• Nachhaltigkeitsbewertung
• Mixed-Methods-Evaluation

Key theories

RE-AIM-Framework

Ein Evaluationsrahmen, der Reichweite (Reach), Effektivität (Effectiveness), Adoption (Adoption), Implementierung (Implementation) und Aufrechterhaltung (Maintenance) bewertet, um die reale Public-Health-Wirkung eines Programms über die reine Wirksamkeit hinaus zu erfassen.

Mechanisms

Die Evaluation stimmt ihre Fragen mit ihren Methoden ab. Die Prozessevaluation dokumentiert, was tatsächlich geliefert wurde, an wen und mit welcher Treue und Reichweite, was hilft zu interpretieren, ob ein Programm in der Theorie oder in der Ausführung gescheitert ist. Die Ergebnis- und Wirkungsanalyse schätzt die nachfolgenden Veränderungen im Verhalten und in der Gesundheit, idealerweise im Vergleich zu einer Kontrollbedingung, damit die Veränderung dem Programm und nicht säkularen Trends oder anderen Einflüssen zugeschrieben werden kann. Rahmenwerke wie RE-AIM erweitern den Blickwinkel von der Effektivität allein auf Reichweite, Adoption, Implementierung und Aufrechterhaltung, da die Wirkung auf die Bevölkerung davon abhängt, wie viele Menschen ein Programm erreicht und ob seine Effekte nachhaltig sind. Mixed-Methods-Designs kombinieren quantitative Ergebnismessungen mit qualitativen Einblicken, wie und warum Effekte auftraten.

Clinical relevance

Evaluationsergebnisse bestimmen, welche präventiven und pädagogischen Programme als fortsetzens- oder skalierungswürdig beurteilt werden, und deren Verständnis unterstützt die kritische Lektüre von Programmberichten. Das Thema beschreibt, wie Programme bewertet werden; es charakterisiert die Evidenzgenerierung und ist keine Grundlage für individuelle klinische Entscheidungen.

Evidence & guidelines

Das RE-AIM-Framework (Glasgow et al., 1999) ist eine weit verbreitete Referenz zur Bewertung der realen Public-Health-Wirkung, und Green und Kreuters Planungslehrbuch integriert die Evaluation in das PRECEDE-PROCEED-Modell. Übersichten über Interventionsstudien in der Gemeinschaft (Sorensen et al., 1998) diskutieren Attributionsherausforderungen, Arbeiten zur Nachhaltigkeit (Shediac-Rizkallah & Bone, 1998) behandeln die Aufrechterhaltung, und Palinkas et al. (2019) geben einen Überblick über Mixed-Methods-Evaluationsansätze.

History

Die Evaluation wurde in der Gesundheitsförderung zentral, als Geldgeber und Praktiker Rechenschaftspflicht für Programminvestitionen suchten. Planungsrahmen wie PRECEDE-PROCEED integrierten die Evaluation von Anfang an in das Programmdesign, und die Einführung von RE-AIM im Jahr 1999 verlagerte die Aufmerksamkeit von der Wirksamkeit in kontrollierten Umgebungen auf Reichweite und Wirkung unter realen Bedingungen. Spätere Arbeiten erweiterten die Evaluation um Nachhaltigkeit und Mixed-Methods-Ansätze, die die Messung von Ergebnissen mit dem Verständnis von Prozessen kombinieren.

Debates

Attribution und der richtige Vergleich

Der Nachweis, dass ein Programm und nicht gleichzeitige Einflüsse die beobachtete Veränderung verursacht hat, erfordert ein geeignetes Kontrafaktum, was in Gemeinschaftsumgebungen, wo Randomisierung oft unpraktisch ist, schwierig ist; die Wahl des Vergleichs bleibt eine zentrale Herausforderung der Evaluation.

Key figures

• Russell E. Glasgow
• Lawrence W. Green
• Marshall W. Kreuter
• Glorian Sorensen
• Lawrence A. Palinkas

Seminal works

• glasgow-1999
• sorensen-1998

Frequently asked questions

Was ist der Unterschied zwischen Prozess- und Ergebnisbewertung?

Die Prozessevaluation untersucht, ob ein Programm wie geplant durchgeführt wurde und seine Zielgruppe erreichte, während die Ergebnis- und Wirkungsanalyse die nachfolgenden Veränderungen im Verhalten, in der Gesundheit oder anderen angestrebten Ergebnissen bewertet.

Warum ist die Attribution in der Programmevaluation schwierig?

Beobachtete Veränderungen können auf das Programm oder auf andere Einflüsse wie säkulare Trends zurückzuführen sein; ohne einen geeigneten Vergleich oder ein Kontrafaktum ist es schwierig zu schlussfolgern, dass das Programm selbst die Veränderung verursacht hat.