Schwach informative und regularisierende Prioren

Schwach informative Prioren sind bewusst milde, eigentliche Prioren, die unplausible Parameterwerte ausschließen und die Schätzung stabilisieren, ohne starke substantielle Annahmen aufzuerlegen.

Definition

Ein schwach informativer Prior ist ein eigentlicher Prior, der so gewählt wird, dass er auf der Skala plausibler Parameterwerte breit ist und genügend Informationen liefert, um die Posteriorverteilung zu regularisieren und die Berechnung zu verbessern, während er bezüglich des spezifischen Wertes innerhalb dieses Bereichs unentschlossen bleibt.

Scope

Dieses Thema behandelt die Begründung für schwach informative Prioren gegenüber flachen Prioren, ihre regularisierenden und schrumpfenden Effekte, Standardoptionen für Regressionskoeffizienten und Skalenparameter sowie Sparsity-induzierende Prioren wie den Horseshoe-Prior und den Bayes'schen Lasso.

Core questions

• Warum werden schwach informative Prioren in der Praxis gegenüber flachen oder uneigentlichen Prioren bevorzugt?
• Wie regularisieren Prioren Schätzungen und schrumpfen sie in Richtung plausibler Werte?
• Welche Standard-Prioren werden für Regressionskoeffizienten und Varianzparameter empfohlen?
• Wie gehen Sparsity-Prioren wie der Horseshoe-Prior mit vielen potenziell Null-Koeffizienten um?

Key concepts

• schwach informativer Prior
• Regularisierung
• Schrumpfung
• Horseshoe-Prior
• Bayes'scher Lasso
• Skalenprior
• Separation

Key theories

Regularisierung durch Prioren

Ein Prior mit endlicher Skala bestraft extreme Schätzungen, reduziert die Varianz und verhindert Separationsprobleme; viele penalisierten Likelihood-Schätzer entsprechen posterioren Modi unter spezifischen Prioren.

Global-lokale Schrumpfung

Sparsity-Prioren wie der Horseshoe-Prior verwenden eine schwerfällige lokale Skala und eine globale Skala, sodass kleine Koeffizienten stark geschrumpft werden, während große Signale der Schrumpfung entgehen.

Clinical relevance

Regularisierende Prioren stabilisieren Schätzungen in hochdimensionalen und dünn besetzten Problemen wie der Genomik und der Biomarker-Selektion und verhindern divergierende Schätzungen, wenn Daten Parameter nur schwach identifizieren.

History

Als die Bayes'sche Berechnung in den 2000er Jahren routinemäßig wurde, verlagerte sich die Aufmerksamkeit von flachen „nicht-informativen“ Prioren auf schwach informative Standard-Prioren, die sowohl die Inferenz als auch die Stichprobenziehung verbessern. Sparsity-Prioren, einschließlich des Bayes'schen Lasso und des Horseshoe-Schätzers von 2010, erweiterten dieses Denken auf die hochdimensionale Regression.

Debates

Wie schwach sollte ein Standard-Prior sein?

Es gibt eine fortlaufende Diskussion darüber, wie die Skala schwach informativer Prioren festgelegt werden sollte, damit sie nützlich regularisieren, ohne unbeabsichtigt Schlussfolgerungen auf der relevanten Skala zu verzerren.

Key figures

• Andrew Gelman
• Nicholas Polson
• James Scott
• Carlos Carvalho

Seminal works

• gelman2008
• carvalho2010

Frequently asked questions

Wie unterscheidet sich ein schwach informativer Prior von einem nicht-informativen Prior?

Ein nicht-informativer Prior versucht, so wenig Informationen wie möglich hinzuzufügen und kann uneigentlich sein, während ein schwach informativer Prior eigentlich ist und absichtlich milde Informationen hinzufügt, um unplausible Werte auszuschließen und die Analyse zu stabilisieren.