재현 가능한 연구

재현 가능한 연구는 다른 사람들이 동일한 데이터와 코드를 사용하여 보고된 결과를 정확하게 재생성할 수 있도록 통계 분석을 수행하고 출판하는 관행입니다.

Definition

재현 가능한 연구는 데이터, 분석 코드, 컴퓨팅 환경 및 설명을 결합하여 통계 분석의 계산 결과가 원본 데이터와 코드로부터 재생성될 수 있도록 보장하는 일련의 관행입니다.

Scope

이 주제는 코드, 결과 및 설명을 함께 엮는 문학적 프로그래밍, 이를 구현하는 동적 문서 및 노트북, 버전 관리 및 환경 캡처, FAIR과 같은 원칙에 따른 데이터 및 코드 공유, 그리고 재현성(reproducibility)과 더 어려운 목표인 반복성(replicability) 간의 구별을 다룹니다. 분석의 계산적 재현성에 중점을 둡니다.

Core questions

• 계산 분석이 재현 가능하다는 것은 무엇을 의미합니까?
• 문학적 프로그래밍과 동적 문서는 코드를 결과와 어떻게 연결합니까?
• 버전 관리와 환경 캡처는 분석을 어떻게 보존합니까?
• FAIR과 같은 데이터 공유 원칙은 재사용과 검증을 어떻게 지원합니까?

Key concepts

• 문학적 프로그래밍
• 동적 문서
• 버전 관리
• 환경 캡처
• FAIR 데이터 원칙
• 재현성 대 반복성

Key theories

문학적 프로그래밍 및 동적 문서

문학적 프로그래밍 및 현대 노트북에서처럼 분석 코드를 설명 텍스트와 교차시키고 해당 코드에서 직접 그림과 표를 재생성함으로써 보고된 결과가 항상 이를 생성한 계산과 일치하도록 보장합니다.

찾기 쉽고 접근 가능한 데이터 및 환경

FAIR과 같은 원칙에 따라 데이터와 코드를 공유하고, 캡처된 컴퓨팅 환경 및 버전 이력과 함께 제공함으로써 다른 사람들이 단순히 결론을 읽는 것을 넘어 분석을 찾고, 실행하고, 검증할 수 있도록 합니다.

Clinical relevance

재현 가능한 워크플로우는 공동 연구자, 검토자 및 규제 기관이 통계 결과를 확인하고, 오류를 찾아내며, 이전 작업을 기반으로 할 수 있도록 합니다. 과학 전반에 걸친 재현성 위기에 대한 우려 속에서 이러한 관행은 데이터 분석의 신뢰성을 위한 실질적인 안전장치입니다.

History

Claerbout은 지구물리학에서 재현 가능한 계산 문서를 개척했고, Knuth의 문학적 프로그래밍이 기본 아이디어를 제공했으며, Gentleman과 같은 통계학자들이 재현 가능한 분석을 공식화했습니다. 이후 동적 문서 도구와 FAIR 원칙이 이러한 관행을 주류화했습니다.

Debates

재현성 대 반복성

동일한 데이터와 코드로부터 동일한 결과를 재생성하는 것(재현성)은 새로운 연구에서 일관된 결과를 얻는 것(반복성)과는 다릅니다. 용어와 각각이 과학적 타당성을 얼마나 보장하는지에 대한 논의가 계속되고 있습니다.

Key figures

• Donald Knuth
• Robert Gentleman
• Duncan Temple Lang
• Jon Claerbout

Seminal works

• knuth1984
• gentleman2007

Frequently asked questions

재현성이 새로운 실험에서 동일한 과학적 결론을 얻는 것과 같습니까?

아닙니다. 재현성은 동일한 데이터와 코드로부터 동일한 결과를 재생성하는 것을 의미합니다. 새로운 데이터로 새로운 연구에서 일관된 결과를 얻는 것은 반복성(replicability)이며, 이는 별개이며 일반적으로 더 어려운 기준입니다.

재현 가능한 연구를 지원하는 도구는 무엇입니까?

그림과 표를 생성하기 위해 코드를 실행하는 동적 문서 시스템과 노트북, 변경 사항을 추적하는 버전 관리, 그리고 소프트웨어 버전을 기록하는 환경 캡처 도구들이 함께 분석을 다른 사람들이 재현할 수 있도록 만듭니다.