Kritische Bewertung und individuelle Evidenzevaluation

Die kritische Bewertung ist der strukturierte Prozess der systematischen Untersuchung einer einzelnen Forschungsarbeit, um deren Validität, die Größe und Präzision ihrer Ergebnisse sowie deren Relevanz für eine gegebene Fragestellung zu beurteilen. Sie ist die praktische Fähigkeit, die das Lesen einer Studie in deren Bewertung umwandelt, und steht im Mittelpunkt der evidenzbasierten Praxis: Bevor Evidenz angewendet oder synthetisiert werden kann, muss jede Studie zunächst nach ihren eigenen Kriterien bewertet werden.

Definition

Die kritische Bewertung ist die explizite, kriterienbasierte Evaluation einer einzelnen Forschungsstudie, um die Vertrauenswürdigkeit ihrer Methoden (interne Validität), die Bedeutung und Präzision ihrer Ergebnisse und das Ausmaß, in dem diese Ergebnisse auf andere Settings oder Populationen angewendet werden können (externe Validität), zu bestimmen.

Scope

Dieser Bereich orientiert den Leser daran, wie einzelne Studien bewertet werden, anstatt wie Evidenzbestände zusammengeführt werden. Er behandelt die generischen Bewertungsfragen (Ist sie valide? Was sind die Ergebnisse? Sind sie anwendbar?), die strukturierten Werkzeuge und Checklisten, die zur Anwendung dieser Fragen verwendet werden, und die Berichtsstandards (wie CONSORT und STROBE), die eine Studie überhaupt erst transparent genug für eine Bewertung machen. Er ist referenziell-pädagogisch und gibt keine klinischen Empfehlungen.

Sub-topics

• CONSORT-Erklärung und RCT-Berichterstattung
• Instrumente und Checklisten zur kritischen Bewertung
• STROBE Statement und Berichterstattung über Beobachtungsstudien

Core questions

• Sind die Ergebnisse dieser einzelnen Studie valide, angesichts ihrer Konzeption und Durchführung?
• Was sind die Ergebnisse, und wie präzise und klinisch oder praktisch wichtig sind sie?
• Können die Ergebnisse auf die vorliegende Population, das Setting oder die Fragestellung angewendet werden?
• Wie machen strukturierte Tools und Berichtsstandards eine Studie bewertbar und reduzieren subjektive Urteile?

Key concepts

• Interne Validität
• Externe Validität (Generalisierbarkeit)
• Risiko der Verzerrung
• Validität-Ergebnisse-Anwendbarkeit-Bewertungsrahmen
• Berichtsstandards versus methodische Qualität
• Kritische Bewertungstools und Checklisten
• Reproduzierbarkeit und Transparenz der Berichterstattung

Mechanisms

Die Bewertung erfolgt, indem das Design einer Studie den Verzerrungen zugeordnet wird, für die dieses Design anfällig ist, und dann gefragt wird, ob die Autoren angemessene Schritte dagegen unternommen haben. Der weit verbreitete Users' Guides-Rahmen organisiert dies in drei aufeinanderfolgende Fragen – sind die Ergebnisse valide, was sind die Ergebnisse und werden sie lokal helfen – so dass die Beurteilung der Validität der Interpretation der Effektgröße vorausgeht, die wiederum jeder Beurteilung der Anwendbarkeit vorausgeht (Guyatt 1993; Greenhalgh 1997). Im Gegensatz zur Bewertung von Methoden legen Berichtsstandards fest, was eine Arbeit offenlegen muss, damit ein Leser die notwendigen Informationen zur Bewertung hat; die beiden ergänzen sich, da eine gut durchgeführte Studie, die schlecht berichtet wird, nicht bewertet werden kann, und eine transparent berichtete Studie immer noch als mit hohem Verzerrungsrisiko behaftet beurteilt werden kann.

Clinical relevance

Die kritische Bewertung ist eine Kernkompetenz der evidenzbasierten Praxis in allen Gesundheitsberufen, da die verantwortungsvolle Anwendung von Forschung zunächst die Beurteilung erfordert, ob eine Studie vertrauenswürdig und relevant ist. Dieser Bereich beschreibt, wie einzelne Studien bewertet und berichtet werden; er charakterisiert Evidenz, anstatt diagnostische oder Behandlungsentscheidungen vorzuschreiben, und ist kein Ersatz für klinische Leitlinien.

Evidence & guidelines

Die Bewertung wird durch validierte, designspezifische Instrumente und nicht durch eine einzige universelle Checkliste unterstützt; eine systematische Übersichtsarbeit fand eine große Variabilität bei über hundert veröffentlichten Tools ohne einen vereinbarten Goldstandard für irgendein Design (Katrak 2004). Berichtsstandards, die von Fachzeitschriften und dem EQUATOR Network – CONSORT für randomisierte Studien und STROBE für Beobachtungsstudien – unterstützt werden, ergänzen die Bewertung durch die Standardisierung der Offenlegung, während Rahmenwerke wie GRADE die Bewertung von der einzelnen Studie auf die Sicherheit eines Evidenzbestandes ausweiten (Guyatt 2008).

History

Die strukturierte kritische Bewertung entstand aus der klinischen Epidemiologie, die an der McMaster University entwickelt wurde, und der evidenzbasierten Medizinbewegung der 1990er Jahre. Die Definition der evidenzbasierten Medizin von Sackett und Kollegen fasste die Bewertung einzelner Studien als eine routinemäßige klinische Fähigkeit auf (Sackett 1996), und die JAMA Users' Guides-Reihe kodifizierte explizite, sequentielle Bewertungsfragen für jeden Studientyp (Guyatt 1993). Greenhalghs weit verbreitete Einführungen brachten denselben Ansatz einem breiten klinischen Publikum nahe (Greenhalgh 1997). Parallel dazu verbreiteten sich ab den späten 1990er Jahren Berichtsstandards und spezielle Bewertungsinstrumente, die schließlich über das EQUATOR Network koordiniert wurden.

Debates

Misst die Berichtsqualität die Studienqualität?

Berichtsstandards dokumentieren, was offengelegt wurde, nicht ob die Studie gut durchgeführt wurde; die Behandlung der Einhaltung einer Berichtscheckliste als Maß für die methodische Qualität vermischt Transparenz mit Validität, und die meisten Autoren von Standards warnen davor, sie als Qualitätsbewertungen zu verwenden.

Gibt es ein Goldstandard-Bewertungsinstrument?

Die große Anzahl konkurrierender Checklisten, mit geringer Überschneidung im Inhalt und ohne vereinbartes Referenzinstrument für irgendein Design, macht die Bewertung teilweise abhängig vom gewählten Tool und vom Urteil des Gutachters.

Key figures

• David Sackett
• Gordon Guyatt
• Trisha Greenhalgh
• Andrew Oxman

Seminal works

• sackett-1996
• guyatt-1993
• greenhalgh-1997

Frequently asked questions

Wie unterscheidet sich die kritische Bewertung von der Evidenzsynthese?

Die kritische Bewertung beurteilt jeweils eine Studie und bewertet deren Validität und Relevanz. Die Evidenzsynthese kombiniert die Ergebnisse vieler bewerteter Studien; die Bewertung jeder einzelnen Studie ist ein notwendiger Schritt innerhalb der Synthese.

Ist das Befolgen einer Berichtscheckliste dasselbe wie die Bewertung einer Studie?

Nein. Berichtsstandards sagen Ihnen, ob eine Studie genügend Informationen offengelegt hat; die Bewertung verwendet diese Informationen, um zu beurteilen, ob die Methoden und Ergebnisse der Studie vertrauenswürdig und anwendbar sind. Eine vollständig berichtete Studie kann immer noch ein hohes Verzerrungsrisiko aufweisen.