Nghiên cứu có thể tái lập

Nghiên cứu có thể tái lập là thực hành tiến hành và công bố các phân tích thống kê sao cho những người khác, với cùng dữ liệu và mã, có thể tạo lại chính xác các kết quả đã báo cáo.

Definition

Nghiên cứu có thể tái lập là một tập hợp các thực hành đảm bảo rằng các kết quả tính toán của một phân tích thống kê có thể được tạo lại từ dữ liệu và mã gốc, bằng cách liên kết dữ liệu, mã phân tích, môi trường tính toán và tường thuật.

Scope

Chủ đề này bao gồm lập trình có cấu trúc (literate programming) kết hợp mã, kết quả và tường thuật, các tài liệu và sổ ghi chép động thực hiện điều đó, kiểm soát phiên bản và ghi lại môi trường, chia sẻ dữ liệu và mã theo các nguyên tắc như FAIR, và sự khác biệt giữa khả năng tái lập (reproducibility) và mục tiêu khó hơn là khả năng lặp lại (replicability). Trọng tâm là khả năng tái lập tính toán của một phân tích.

Core questions

• Một phân tích tính toán có thể tái lập nghĩa là gì?
• Lập trình có cấu trúc và tài liệu động liên kết mã với kết quả như thế nào?
• Kiểm soát phiên bản và ghi lại môi trường bảo toàn một phân tích như thế nào?
• Các nguyên tắc chia sẻ dữ liệu như FAIR hỗ trợ việc tái sử dụng và xác minh như thế nào?

Key concepts

• Lập trình có cấu trúc
• Tài liệu động
• Kiểm soát phiên bản
• Ghi lại môi trường
• Nguyên tắc dữ liệu FAIR
• Khả năng tái lập so với khả năng lặp lại

Key theories

Lập trình có cấu trúc và tài liệu động

Việc xen kẽ mã phân tích với văn bản giải thích và tạo lại các hình và bảng trực tiếp từ mã đó, như trong lập trình có cấu trúc và các sổ ghi chép hiện đại, đảm bảo rằng các kết quả được báo cáo luôn khớp với các phép tính đã tạo ra chúng.

Dữ liệu và môi trường có thể tìm thấy, truy cập được

Chia sẻ dữ liệu và mã theo các nguyên tắc như FAIR, cùng với các môi trường tính toán được ghi lại và lịch sử phiên bản, cho phép những người khác định vị, chạy và xác minh một phân tích thay vì chỉ đọc các kết luận của nó.

Clinical relevance

Các quy trình làm việc có thể tái lập cho phép các cộng tác viên, người đánh giá và cơ quan quản lý xác minh kết quả thống kê, phát hiện lỗi và xây dựng dựa trên công việc trước đó; trong bối cảnh lo ngại về một cuộc khủng hoảng khả năng tái lập trên khắp các ngành khoa học, những thực hành này là một biện pháp bảo vệ thiết thực cho độ tin cậy của các phân tích dữ liệu.

History

Claerbout đã tiên phong trong các tài liệu tính toán có thể tái lập trong địa vật lý, lập trình có cấu trúc của Knuth đã cung cấp ý tưởng cơ bản, và các nhà thống kê như Gentleman đã chính thức hóa phân tích có thể tái lập; các công cụ tài liệu động và các nguyên tắc FAIR sau đó đã đưa những thực hành này trở thành xu hướng chủ đạo.

Debates

Khả năng tái lập so với khả năng lặp lại

Việc tạo lại cùng một kết quả từ cùng một dữ liệu và mã (khả năng tái lập) khác với việc thu được các phát hiện nhất quán trong một nghiên cứu mới (khả năng lặp lại); có những cuộc thảo luận đang diễn ra về thuật ngữ và về mức độ mỗi yếu tố đảm bảo tính hợp lệ khoa học.

Key figures

• Donald Knuth
• Robert Gentleman
• Duncan Temple Lang
• Jon Claerbout

Seminal works

• knuth1984
• gentleman2007

Frequently asked questions

Khả năng tái lập có giống với việc đạt được cùng một kết luận khoa học trong một thí nghiệm mới không?

Không. Khả năng tái lập có nghĩa là tạo lại cùng một kết quả từ cùng một dữ liệu và mã. Việc thu được một phát hiện nhất quán trong một nghiên cứu mới với dữ liệu mới là khả năng lặp lại, một tiêu chuẩn riêng biệt và nhìn chung khó hơn.

Những công cụ nào hỗ trợ nghiên cứu có thể tái lập?

Các hệ thống tài liệu động và sổ ghi chép chạy mã để tạo ra các hình và bảng, kiểm soát phiên bản để theo dõi các thay đổi, và các công cụ ghi lại môi trường ghi lại các phiên bản phần mềm cùng nhau làm cho một phân tích có thể tái lập bởi những người khác.