Оценка доказательств и критический анализ

Оценка доказательств и критический анализ — это дисциплинированное суждение о том, является ли исследование или совокупность доказательств достоверными, что означают их результаты и применимы ли они к данному вопросу. Это ключевой аналитический навык доказательной медицины, отделяющий надежность доказательств от громкости их заявлений.

Definition

Критический анализ — это систематический процесс изучения исследований для оценки их внутренней валидности (отсутствия систематической ошибки), величины и точности их результатов, а также их внешней валидности (применимости), чтобы можно было установить достоверность доказательств до их использования.

Scope

Эта тема охватывает иерархию доказательств, структурированную оценку риска систематической ошибки в отдельных исследованиях, градацию определенности совокупности доказательств и суждение о применимости. Это методологическая и справочная тема о том, как оцениваются доказательства, а не источник инструкций по лечению.

Core questions

• Свободен ли дизайн и проведение исследования от существенных систематических ошибок?
• Какова величина и точность сообщаемого эффекта?
• Насколько определенна общая совокупность доказательств?
• Применимы ли результаты к рассматриваемым пациентам или вопросу?

Key concepts

• Внутренняя валидность и риск систематической ошибки
• Внешняя валидность и применимость
• Иерархия доказательств
• Определенность (качество) доказательств
• Величина эффекта и точность
• Структурированные инструменты оценки (RoB 2, AMSTAR 2)

Mechanisms

Оценка проводится от отдельного исследования к совокупности доказательств. Для рандомизированного исследования структурированные инструменты, такие как RoB 2, исследуют области, где может возникнуть систематическая ошибка — рандомизация, отклонения от запланированных вмешательств, пропущенные данные, измерение и выборочная отчетность. Для систематического обзора AMSTAR 2 оценивает методологическое качество. В рамках исследований система GRADE оценивает определенность совокупности доказательств как высокую, умеренную, низкую или очень низкую, снижая ее при риске систематической ошибки, несогласованности, косвенности, неточности и систематической ошибке публикации, и повышая ее при таких особенностях, как большие эффекты. Эта оценка определенности затем используется при переходе от доказательств к рекомендации. В основе всего этого лежит принцип доказательной медицины, согласно которому внешние доказательства должны быть оценены до того, как они будут интегрированы с клиническим опытом.

Clinical relevance

Критический анализ определяет, какой вес должны иметь доказательства при принятии решений о формулярах, разработке руководств и ответах на вопросы о лекарственной информации. Это справочный навык для взвешивания медицинской литературы, описывающий, как оцениваются доказательства; он сам по себе не направляет индивидуальную диагностику или терапию.

Evidence & guidelines

Несколько широко используемых инструментов стандартизируют оценку: инструмент Cochrane RoB 2 для оценки риска систематической ошибки в рандомизированных исследованиях, AMSTAR 2 для оценки методологического качества систематических обзоров и система GRADE для оценки определенности совокупности доказательств и силы рекомендаций. Эти инструменты поддерживаются группами их разработчиков и обновляются по мере развития методов.

History

Критический анализ был формализован движениями клинической эпидемиологии и доказательной медицины 1980-х и 1990-х годов, когда Сакетт и его коллеги сформулировали его принципы. За этим последовали структурированные инструменты: инструменты Кокрейновской библиотеки для оценки риска систематической ошибки (пересмотренные как RoB 2), AMSTAR для оценки качества систематических обзоров (пересмотренные как AMSTAR 2) и подход GRADE к градации определенности, которые вместе заменили неформальное суждение явными, воспроизводимыми критериями.

Key figures

• David Sackett
• Gordon Guyatt
• Jonathan Sterne
• Beverley Shea

Seminal works

• sackett-1996
• guyatt-2008-grade
• sterne-2019-rob2
• shea-2017-amstar2

Frequently asked questions

В чем разница между внутренней и внешней валидностью?

Внутренняя валидность — это отсутствие систематической ошибки в результате исследования и отражение истинного эффекта в его собственной выборке; внешняя валидность — это применимость этого результата к другим пациентам, условиям или вопросам.

Гарантирует ли более высокое место в иерархии доказательств лучший ответ?

Нет. Дизайн исследования определяет потенциальную силу доказательств, но плохо проведенное исследование или обзор все равно могут быть предвзятыми, поэтому структурированная оценка риска систематической ошибки и градация определенности применяются к каждому исследованию.