Tekrarlanabilir Araştırma
Tekrarlanabilir araştırma, istatistiksel analizlerin, aynı veri ve kod verildiğinde başkaları tarafından bildirilen sonuçların aynen yeniden üretilebileceği şekilde yürütülmesi ve yayımlanması uygulamasıdır.
Tanım
Tekrarlanabilir araştırma, bir istatistiksel analizin hesaplamalı sonuçlarının, orijinal veri ve koddan, veri, analiz kodu, hesaplama ortamı ve anlatının bir araya getirilmesiyle yeniden üretilebilmesini sağlayan bir dizi uygulamadır.
Kapsam
Bu konu, kodu, sonuçları ve anlatıyı bir araya getiren edebi programlamayı (literate programming), bunu uygulayan dinamik belgeleri ve not defterlerini, sürüm kontrolünü ve ortam yakalamayı, FAIR gibi prensipler altında veri ve kod paylaşımını ve tekrarlanabilirlik (reproducibility) ile daha zor bir hedef olan tekrar üretilebilirlik (replicability) arasındaki ayrımı kapsamaktadır. Vurgu, bir analizin hesaplamalı tekrarlanabilirliği üzerinedir.
Temel sorular
- Hesaplamalı bir analizin tekrarlanabilir olması ne anlama gelmektedir?
- Edebi programlama (literate programming) ve dinamik belgeler kodu sonuçlara nasıl bağlamaktadır?
- Sürüm kontrolü ve ortam yakalama bir analizi nasıl korumaktadır?
- FAIR gibi veri paylaşım prensipleri yeniden kullanımı ve doğrulamayı nasıl desteklemektedir?
Anahtar kavramlar
- Edebi programlama (Literate programming)
- Dinamik belgeler
- Sürüm kontrolü
- Ortam yakalama
- FAIR veri prensipleri
- Tekrarlanabilirlik (Reproducibility) ve tekrar üretilebilirlik (replicability)
Temel kuramlar
- Edebi programlama (Literate programming) ve dinamik belgeler
- Analiz kodunu açıklayıcı metinle iç içe geçirmek ve şekilleri ve tabloları doğrudan bu koddan yeniden oluşturmak, edebi programlama (literate programming) ve modern not defterlerinde olduğu gibi, bildirilen sonuçların her zaman onları üreten hesaplamalarla eşleşmesini sağlamaktadır.
- Bulunabilir, erişilebilir veri ve ortamlar
- FAIR gibi prensipler altında veri ve kod paylaşımı, yakalanan hesaplama ortamları ve sürüm geçmişi ile birlikte, başkalarının bir analizin sonuçlarını sadece okumak yerine onu bulmasına, çalıştırmasına ve doğrulamasına olanak tanımaktadır.
Klinik önem
Tekrarlanabilir iş akışları, işbirlikçilerin, hakemlerin ve düzenleyicilerin istatistiksel sonuçları doğrulamasına, hataları yakalamasına ve önceki çalışmalar üzerine inşa etmesine olanak tanımaktadır; bilim dalları genelinde bir tekrarlanabilirlik krizi endişesi yaşanırken, bu uygulamalar veri analizlerinin güvenilirliği için pratik bir güvence sağlamaktadır.
Tarihçe
Claerbout jeofizikte tekrarlanabilir hesaplamalı belgelerin öncülüğünü yapmış, Knuth'un edebi programlaması (literate programming) temel fikri sağlamış ve Gentleman gibi istatistikçiler tekrarlanabilir analizi resmileştirmiştir; dinamik belge araçları ve FAIR prensipleri daha sonra bu uygulamaları yaygınlaştırmıştır.
Tartışmalar
- Tekrarlanabilirlik (Reproducibility) ve tekrar üretilebilirlik (replicability)
- Aynı veri ve koddan aynı sonuçların yeniden üretilmesi (tekrarlanabilirlik), yeni bir çalışmada tutarlı bulgular elde etmekten (tekrar üretilebilirlik) farklıdır; terminoloji ve her birinin bilimsel geçerliliği ne kadar garanti ettiği konusunda devam eden bir tartışma bulunmaktadır.
Öne çıkan isimler
- Donald Knuth
- Robert Gentleman
- Duncan Temple Lang
- Jon Claerbout
İlgili konular
Temel eserler
- knuth1984
- gentleman2007
Sıkça sorulan sorular
- Tekrarlanabilirlik, yeni bir deneyde aynı bilimsel sonuca ulaşmakla aynı mıdır?
- Hayır. Tekrarlanabilirlik, aynı veri ve koddan aynı sonuçların yeniden üretilmesi anlamına gelmektedir. Yeni verilerle yapılan yeni bir çalışmada tutarlı bir bulgu elde etmek, ayrı ve genellikle daha zor bir standart olan tekrar üretilebilirliktir (replicability).
- Tekrarlanabilir araştırmayı hangi araçlar desteklemektedir?
- Şekiller ve tablolar üretmek için kod çalıştıran dinamik belge sistemleri ve not defterleri, değişiklikleri izlemek için sürüm kontrolü ve yazılım sürümlerini kaydeden ortam yakalama araçları, bir analizi başkaları tarafından tekrarlanabilir hale getirmektedir.