Оценка риска систематической ошибки

Оценка риска систематической ошибки — это структурированная оценка вероятности того, что дизайн, проведение и представление результатов исследования исказили его результаты относительно истинного положения дел. В отличие от иерархии доказательств, которая ранжирует дизайны в целом, она оценивает отдельное исследование, задаваясь вопросом, могли ли такие особенности, как распределение участников, ослепление, удержание и анализ, исказить оцененный эффект.

Definition

Оценка риска систематической ошибки — это доменная оценка внутренней валидности отдельного исследования, определяющая для каждой соответствующей области, вероятно ли, что недостатки в дизайне, проведении или представлении результатов привели к систематической ошибке в оцененном эффекте.

Scope

Статья охватывает концепцию систематической ошибки, стандартные области оценки в рандомизированных и нерандомизированных исследованиях, а также основные инструменты Кокрейн, используемые для этих суждений. Это методологический справочник по оценке на уровне исследования, а не клиническое руководство.

Key concepts

• Систематическая (не случайная) ошибка
• Внутренняя валидность
• Ошибка отбора / рандомизация и сокрытие распределения
• Ошибка выполнения и выявления / ослепление
• Ошибка выбывания / неполные данные исходов
• Ошибка публикации / выборочная отчетность по исходам
• Доменное суждение (низкий / некоторые опасения или неясный / высокий риск)
• Смешивающие факторы (confounding) в нерандомизированных исследованиях

Mechanisms

Оценка проводится по областям (доменам), каждая из которых отражает путь, по которому может возникнуть систематическая ошибка. В рандомизированных исследованиях это включает процесс рандомизации, отклонения от запланированных вмешательств, пропущенные данные исходов, измерение исхода и выбор сообщаемого результата; для каждой области рецензент оценивает риск как низкий, вызывающий некоторые опасения (или неясный) или высокий, часто руководствуясь сигнальными вопросами, и выносит общее суждение. В нерандомизированных исследованиях вмешательств в качестве центральных областей добавляются смешивающие факторы (confounding) и отбор участников, поскольку без рандомизации они являются доминирующими угрозами. Результатом является прозрачная, воспроизводимая оценка, которая используется для синтеза доказательств и оценки достоверности, а не единый итоговый балл.

Clinical relevance

Оценки риска систематической ошибки объясняют, почему два исследования одного и того же вопроса могут быть взвешены по-разному и почему совокупность доказательств может быть понижена из-за ограничений исследования. Они помогают читателям понять, отражает ли результат реальный эффект или является артефактом того, как было проведено исследование; статья описывает методологию оценки и не является основой для индивидуальных клинических решений.

Evidence & guidelines

Инструмент Кокрейн для оценки риска систематической ошибки (Higgins et al., 2011) стандартизировал доменную оценку рандомизированных исследований и был заменен RoB 2 (Sterne et al., 2019), который реструктурировал домены и добавил сигнальные вопросы. ROBINS-I (Sterne et al., 2016) расширил подход на нерандомизированные исследования вмешательств, акцентируя внимание на смешивающих факторах и отборе. В GRADE риск систематической ошибки на уровне исследования является первым фактором, который может снизить достоверность совокупности доказательств (Guyatt et al., 2008).

History

Оценка качества исследований в 1980-х и 1990-х годах основывалась на числовых шкалах, компоненты и веса которых сильно варьировались. Кокрейновское сотрудничество сместило акцент в оценке на явное, доменное суждение с помощью своего инструмента оценки риска систематической ошибки 2011 года, отдавая приоритет прозрачности над итоговыми баллами. RoB 2 (2019) уточнил домены рандомизированных исследований и ввел сигнальные вопросы, в то время как ROBINS-I (2016) предложил параллельную, ориентированную на смешивающие факторы структуру для нерандомизированных исследований.

Debates

Доменное суждение против числовых оценок качества

Составные оценки качества могут скрывать, какие конкретные недостатки важны и насколько сильно, поэтому современные инструменты отдают предпочтение прозрачным доменным суждениям; критики отмечают, что доменные суждения все еще требуют субъективных решений и могут различаться между оценщиками.

Key figures

• Julian Higgins
• Jonathan Sterne
• Douglas Altman
• Miguel Hernan

Seminal works

• higgins-2011-robtool
• sterne-2019-rob2
• sterne-2016-robinsi

Frequently asked questions

Чем риск систематической ошибки отличается от иерархии доказательств?

Иерархия ранжирует дизайны в целом по их типичной уязвимости к систематической ошибке, тогда как оценка риска систематической ошибки оценивает, насколько хорошо было фактически проведено одно конкретное исследование, поэтому дизайн с высоким рейтингом все еще может нести высокий риск систематической ошибки.

Почему числовые оценки качества вышли из употребления?

Составные оценки объединяют несвязанные характеристики в одно число и скрывают, какие недостатки влияют на результат; доменные инструменты вместо этого выносят отдельное, прозрачное суждение для каждого потенциального источника систематической ошибки.