Воспроизводимые исследования
Воспроизводимые исследования — это практика проведения и публикации статистического анализа таким образом, чтобы другие исследователи, имея те же данные и код, могли в точности воспроизвести заявленные результаты.
Definition
Воспроизводимые исследования — это набор практик, обеспечивающих возможность воспроизведения вычислительных результатов статистического анализа на основе исходных данных и кода путем объединения данных, кода анализа, вычислительной среды и повествования.
Scope
Эта тема охватывает грамотное программирование, которое объединяет код, результаты и повествование, динамические документы и ноутбуки, реализующие его, контроль версий и фиксацию среды, обмен данными и кодом в соответствии с такими принципами, как FAIR, а также различие между воспроизводимостью и более сложной целью — реплицируемостью. Акцент делается на вычислительной воспроизводимости анализа.
Core questions
- Что означает воспроизводимость вычислительного анализа?
- Как грамотное программирование и динамические документы связывают код с результатами?
- Как контроль версий и фиксация среды сохраняют анализ?
- Как принципы обмена данными, такие как FAIR, поддерживают повторное использование и проверку?
Key concepts
- Грамотное программирование
- Динамические документы
- Контроль версий
- Фиксация среды
- Принципы данных FAIR
- Воспроизводимость против реплицируемости
Key theories
- Грамотное программирование и динамические документы
- Чередование кода анализа с пояснительным текстом и прямое генерирование графиков и таблиц из этого кода, как в грамотном программировании и современных ноутбуках, гарантирует, что заявленные результаты всегда соответствуют вычислениям, которые их произвели.
- Находимые, доступные данные и среды
- Обмен данными и кодом в соответствии с такими принципами, как FAIR, наряду с зафиксированными вычислительными средами и историей версий, позволяет другим находить, запускать и проверять анализ, а не просто читать его выводы.
Clinical relevance
Воспроизводимые рабочие процессы позволяют сотрудникам, рецензентам и регулирующим органам проверять статистические результаты, выявлять ошибки и развивать предыдущие работы; на фоне опасений по поводу кризиса воспроизводимости в науках эти практики являются практической гарантией достоверности анализа данных.
History
Клербут был пионером воспроизводимых вычислительных документов в геофизике, грамотное программирование Кнута легло в основу этой идеи, а статистики, такие как Джентльмен, формализовали воспроизводимый анализ; инструменты динамических документов и принципы FAIR позднее сделали эти практики общепринятыми.
Debates
- Воспроизводимость против реплицируемости
- Воспроизведение тех же результатов из тех же данных и кода (воспроизводимость) отличается от получения согласованных результатов в новом исследовании (реплицируемость); продолжается дискуссия о терминологии и о том, насколько каждое из них гарантирует научную достоверность.
Key figures
- Donald Knuth
- Robert Gentleman
- Duncan Temple Lang
- Jon Claerbout
Related topics
Seminal works
- knuth1984
- gentleman2007
Frequently asked questions
- Является ли воспроизводимость тем же самым, что и получение того же научного вывода в новом эксперименте?
- Нет. Воспроизводимость означает воспроизведение тех же результатов из тех же данных и кода. Получение согласованного вывода в новом исследовании с новыми данными — это реплицируемость, отдельный и, как правило, более сложный стандарт.
- Какие инструменты поддерживают воспроизводимые исследования?
- Системы динамических документов и ноутбуки, которые запускают код для создания графиков и таблиц, контроль версий для отслеживания изменений и инструменты фиксации среды, которые записывают версии программного обеспечения, вместе делают анализ воспроизводимым для других.