再現性のある研究

再現性のある研究とは、統計分析を実施および公開する際、他の研究者が同じデータとコードを用いて、報告された結果を正確に再現できるようにする実践を指します。

Definition

再現性のある研究とは、データ、分析コード、計算環境、および解説を結びつけることにより、統計分析の計算結果が元のデータとコードから再生成できることを保証する一連の実践です。

Scope

このトピックでは、コード、結果、および解説を統合するリテラシープログラミング、それを実装する動的ドキュメントとノートブック、バージョン管理と環境キャプチャ、FAIR原則などの下でのデータとコードの共有、そして再現性とより困難な目標である再生産性との区別について扱います。分析の計算上の再現性に重点を置いています。

Core questions

• 計算分析が再現可能であるとはどういう意味ですか？
• リテラシープログラミングと動的ドキュメントは、どのようにコードと結果を結びつけますか？
• バージョン管理と環境キャプチャは、どのように分析を保存しますか？
• FAIRなどのデータ共有原則は、どのように再利用と検証をサポートしますか？

Key concepts

• リテラシープログラミング
• 動的ドキュメント
• バージョン管理
• 環境キャプチャ
• FAIRデータ原則
• 再現性と再生産性

Key theories

リテラシープログラミングと動的ドキュメント

分析コードを説明テキストと相互に配置し、そのコードから直接図や表を再生成することは、リテラシープログラミングや現代のノートブックのように、報告された結果がそれらを生成した計算と常に一致することを保証します。

発見可能でアクセス可能なデータと環境

FAIRなどの原則に基づいてデータとコードを共有すること、およびキャプチャされた計算環境とバージョン履歴を組み合わせることで、他の研究者は単に結論を読むだけでなく、分析を特定し、実行し、検証することができます。

Clinical relevance

再現性のあるワークフローは、共同研究者、査読者、および規制当局が統計結果を検証し、誤りを発見し、先行研究に基づいて作業を進めることを可能にします。科学全体における再現性危機の懸念が高まる中、これらの実践はデータ分析の信頼性を確保するための実用的な安全策となります。

History

Claerboutは地球物理学において再現性のある計算ドキュメントの先駆者であり、Knuthのリテラシープログラミングがその基礎となるアイデアを提供し、Gentlemanなどの統計学者が再現性のある分析を体系化しました。その後、動的ドキュメントツールとFAIR原則がこれらの実践を主流にしました。

Debates

再現性と再生産性

同じデータとコードから同じ結果を再生成すること（再現性）は、新しい研究で一貫した発見を得ること（再生産性）とは異なります。用語に関する議論と、それぞれが科学的妥当性をどの程度保証するかについて、現在も議論が続いています。

Key figures

• Donald Knuth
• Robert Gentleman
• Duncan Temple Lang
• Jon Claerbout

Seminal works

• knuth1984
• gentleman2007

Frequently asked questions

再現性は、新しい実験で同じ科学的結論を得ることと同じですか？

いいえ。再現性とは、同じデータとコードから同じ結果を再生成することを意味します。新しいデータを用いた新たな研究で一貫した発見を得ることは再生産性であり、これは別の、一般により困難な基準です。

再現性のある研究をサポートするツールは何ですか？

図や表を生成するためにコードを実行する動的ドキュメントシステムとノートブック、変更を追跡するためのバージョン管理、およびソフトウェアのバージョンを記録する環境キャプチャツールが連携して、他の研究者による分析の再現性を可能にします。