Pesquisa Reprodutível

Pesquisa reprodutível é a prática de conduzir e publicar análises estatísticas de modo que outros, dados os mesmos dados e código, possam regenerar os resultados relatados exatamente.

Definition

Pesquisa reprodutível é um conjunto de práticas que garantem que os resultados computacionais de uma análise estatística possam ser regenerados a partir dos dados e código originais, ao ligar dados, código de análise, ambiente computacional e narrativa.

Scope

Este tópico abrange a programação literária que entrelaça código, resultados e narrativa, os documentos dinâmicos e notebooks que a implementam, controle de versão e captura de ambiente, compartilhamento de dados e código sob princípios como FAIR, e a distinção entre reprodutibilidade e o objetivo mais difícil de replicabilidade. A ênfase está na reprodutibilidade computacional de uma análise.

Core questions

• O que significa para uma análise computacional ser reprodutível?
• Como a programação literária e os documentos dinâmicos ligam o código aos resultados?
• Como o controle de versão e a captura de ambiente preservam uma análise?
• Como os princípios de compartilhamento de dados, como FAIR, apoiam a reutilização e a verificação?

Key concepts

• Programação literária
• Documentos dinâmicos
• Controle de versão
• Captura de ambiente
• Princípios de dados FAIR
• Reprodutibilidade versus replicabilidade

Key theories

Programação literária e documentos dinâmicos

Intercalar o código de análise com texto explicativo e regenerar figuras e tabelas diretamente desse código, como na programação literária e nos notebooks modernos, garante que os resultados relatados sempre correspondam aos cálculos que os produziram.

Dados e ambientes encontráveis e acessíveis

Compartilhar dados e código sob princípios como FAIR, juntamente com ambientes computacionais capturados e histórico de versões, permite que outros localizem, executem e verifiquem uma análise, em vez de apenas ler suas conclusões.

Clinical relevance

Fluxos de trabalho reprodutíveis permitem que colaboradores, revisores e reguladores verifiquem resultados estatísticos, detectem erros e construam sobre trabalhos anteriores; em meio à preocupação com uma crise de reprodutibilidade em todas as ciências, essas práticas são uma salvaguarda prática para a credibilidade das análises de dados.

History

Claerbout foi pioneiro em documentos computacionais reprodutíveis em geofísica, a programação literária de Knuth forneceu a ideia subjacente, e estatísticos como Gentleman formalizaram a análise reprodutível; ferramentas de documentos dinâmicos e os princípios FAIR posteriormente tornaram essas práticas mais difundidas.

Debates

Reprodutibilidade versus replicabilidade

Regenerar os mesmos resultados a partir dos mesmos dados e código (reprodutibilidade) é distinto de obter achados consistentes em um novo estudo (replicabilidade); há uma discussão contínua sobre terminologia e sobre o quanto cada um garante a validade científica.

Key figures

• Donald Knuth
• Robert Gentleman
• Duncan Temple Lang
• Jon Claerbout

Seminal works

• knuth1984
• gentleman2007

Frequently asked questions

Reprodutibilidade é o mesmo que obter a mesma conclusão científica em um novo experimento?

Não. Reprodutibilidade significa regenerar os mesmos resultados a partir dos mesmos dados e código. Obter um achado consistente em um novo estudo com novos dados é replicabilidade, um padrão separado e geralmente mais difícil.

Quais ferramentas apoiam a pesquisa reprodutível?

Sistemas de documentos dinâmicos e notebooks que executam código para produzir figuras e tabelas, controle de versão para rastrear alterações e ferramentas de captura de ambiente que registram versões de software, em conjunto, tornam uma análise reprodutível por outros.