Penelitian yang Dapat Direproduksi

Penelitian yang dapat direproduksi adalah praktik melakukan dan memublikasikan analisis statistik sehingga pihak lain, dengan data dan kode yang sama, dapat menghasilkan kembali hasil yang dilaporkan secara tepat.

Definition

Penelitian yang dapat direproduksi adalah serangkaian praktik yang memastikan bahwa hasil komputasi dari analisis statistik dapat dihasilkan kembali dari data dan kode asli, dengan mengikat bersama data, kode analisis, lingkungan komputasi, dan narasi.

Scope

Topik ini mencakup pemrograman literasi yang menganyam kode, hasil, dan narasi secara bersamaan, dokumen dinamis dan buku catatan yang mengimplementasikannya, kontrol versi dan penangkapan lingkungan, pembagian data dan kode di bawah prinsip-prinsip seperti FAIR, dan perbedaan antara reproduktibilitas dan tujuan replikabilitas yang lebih sulit. Penekanannya adalah pada reproduktibilitas komputasi dari suatu analisis.

Core questions

• Apa artinya suatu analisis komputasi dapat direproduksi?
• Bagaimana pemrograman literasi dan dokumen dinamis mengikat kode dengan hasil?
• Bagaimana kontrol versi dan penangkapan lingkungan menjaga suatu analisis?
• Bagaimana prinsip berbagi data seperti FAIR mendukung penggunaan kembali dan verifikasi?

Key concepts

• Pemrograman literasi
• Dokumen dinamis
• Kontrol versi
• Penangkapan lingkungan
• Prinsip data FAIR
• Reproduktibilitas versus replikabilitas

Key theories

Pemrograman literasi dan dokumen dinamis

Menyisipkan kode analisis dengan teks penjelasan dan menghasilkan kembali gambar serta tabel langsung dari kode tersebut, seperti dalam pemrograman literasi dan buku catatan modern, memastikan bahwa hasil yang dilaporkan selalu sesuai dengan komputasi yang menghasilkannya.

Data dan lingkungan yang dapat ditemukan dan diakses

Berbagi data dan kode di bawah prinsip-prinsip seperti FAIR, bersama dengan lingkungan komputasi yang ditangkap dan riwayat versi, memungkinkan pihak lain menemukan, menjalankan, dan memverifikasi analisis daripada hanya membaca kesimpulannya.

Clinical relevance

Alur kerja yang dapat direproduksi memungkinkan kolaborator, peninjau, dan regulator untuk memverifikasi hasil statistik, menemukan kesalahan, dan membangun di atas pekerjaan sebelumnya; di tengah kekhawatiran akan krisis reproduktibilitas di seluruh ilmu pengetahuan, praktik-praktik ini merupakan perlindungan praktis untuk kredibilitas analisis data.

History

Claerbout memelopori dokumen komputasi yang dapat direproduksi dalam geofisika, pemrograman literasi Knuth menyediakan ide dasarnya, dan ahli statistik seperti Gentleman memformalkan analisis yang dapat direproduksi; alat dokumen dinamis dan prinsip FAIR kemudian menjadikan praktik-praktik ini menjadi arus utama.

Debates

Reproduktibilitas versus replikabilitas

Menghasilkan kembali hasil yang sama dari data dan kode yang sama (reproduktibilitas) berbeda dengan memperoleh temuan yang konsisten dalam studi baru (replikabilitas); ada diskusi berkelanjutan tentang terminologi dan tentang seberapa banyak masing-masing menjamin validitas ilmiah.

Key figures

• Donald Knuth
• Robert Gentleman
• Duncan Temple Lang
• Jon Claerbout

Seminal works

• knuth1984
• gentleman2007

Frequently asked questions

Apakah reproduktibilitas sama dengan mendapatkan kesimpulan ilmiah yang sama dalam eksperimen baru?

Tidak. Reproduktibilitas berarti menghasilkan kembali hasil yang sama dari data dan kode yang sama. Memperoleh temuan yang konsisten dalam studi baru dengan data baru adalah replikabilitas, standar yang terpisah dan umumnya lebih sulit.

Alat apa saja yang mendukung penelitian yang dapat direproduksi?

Sistem dokumen dinamis dan buku catatan yang menjalankan kode untuk menghasilkan gambar dan tabel, kontrol versi untuk melacak perubahan, dan alat penangkapan lingkungan yang merekam versi perangkat lunak secara bersama-sama membuat analisis dapat direproduksi oleh pihak lain.