Critérios de Informação Preditivos

Os critérios de informação preditivos estimam a precisão esperada de um modelo fora da amostra a partir de sua posterior, oferecendo uma alternativa focada na previsão aos fatores de Bayes para comparar modelos.

Definition

Critérios de informação preditivos são estimativas da densidade preditiva logarítmica esperada de um modelo em novos dados, calculadas a partir de amostras posteriores e corrigidas para overfitting por uma penalidade de parâmetro efetivo, usadas para classificar modelos por desempenho preditivo.

Scope

Este tópico abrange o critério de informação de desvio (DIC), o critério de informação amplamente aplicável (WAIC) e a validação cruzada leave-one-out de amostragem por importância com suavização de Pareto eficiente, incluindo como cada um estima o número efetivo de parâmetros e aproxima a densidade preditiva logarítmica esperada.

Core questions

• Como o DIC, WAIC e a validação cruzada leave-one-out estimam a precisão preditiva?
• O que é o número efetivo de parâmetros e como ele é calculado?
• Por que o WAIC é considerado mais totalmente Bayesiano do que o DIC?
• Como a amostragem por importância com suavização de Pareto torna a validação cruzada leave-one-out eficiente?

Key concepts

• DIC
• WAIC
• validação cruzada leave-one-out
• densidade preditiva logarítmica esperada
• número efetivo de parâmetros
• amostragem por importância com suavização de Pareto
• penalidade de overfitting

Key theories

Número efetivo de parâmetros

Cada critério penaliza o ajuste por uma estimativa da complexidade do modelo derivada da variabilidade da verossimilhança logarítmica através da posterior, de modo que um melhor ajuste dentro da amostra não vença automaticamente.

Equivalência entre WAIC e validação cruzada

Watanabe mostrou que o WAIC é assintoticamente equivalente à validação cruzada Bayesiana leave-one-out, e ambos visam diretamente a densidade preditiva logarítmica esperada fora da amostra usando a posterior completa.

Clinical relevance

Os critérios preditivos permitem que pesquisadores comparem modelos candidatos para previsão em epidemiologia, ecologia e ciências físicas sem especificar os priors cuidadosamente ajustados que os fatores de Bayes exigem.

History

Spiegelhalter e colegas propuseram o DIC em 2002; Watanabe introduziu o WAIC a partir da teoria de aprendizado singular em 2010. O trabalho de Vehtari, Gelman e Gabry de 2017 sobre a validação cruzada leave-one-out de amostragem por importância com suavização de Pareto tornou a avaliação preditiva estável e diagnosticável prática.

Debates

Confiabilidade do DIC

O DIC pode ter um desempenho insatisfatório para modelos hierárquicos e não regulares e carece de invariância, levando muitos a preferir o WAIC ou a validação cruzada leave-one-out, embora nenhum critério único seja universalmente o melhor.

Key figures

• David Spiegelhalter
• Sumio Watanabe
• Aki Vehtari
• Andrew Gelman

Seminal works

• watanabe2010
• vehtari2017

Frequently asked questions

Um critério de informação mais baixo ou mais alto é melhor?

Esses critérios são geralmente relatados em uma escala de desvio onde valores mais baixos indicam melhor precisão preditiva estimada fora da amostra; as diferenças devem ser julgadas em relação aos seus erros padrão, em vez de serem tratadas como exatas.