Bayes-Faktoren und marginale Likelihood

Die marginale Likelihood ist die Wahrscheinlichkeit der Daten unter einem Modell nach Integration seiner Parameter, und das Verhältnis zweier marginaler Likelihoods, der Bayes-Faktor, misst die Evidenz zwischen Modellen.

Definition

Die marginale Likelihood eines Modells ist das Integral der Likelihood über den Prior; der Bayes-Faktor zwischen zwei Modellen ist das Verhältnis ihrer marginalen Likelihoods und ergibt, multipliziert mit den Prior-Odds, die Posterior-Odds zugunsten eines Modells.

Scope

Dieses Thema behandelt die Definition und Interpretation der marginalen Likelihood, des Bayes-Faktors und seiner Kalibrierung in Evidenzkategorien, seine automatische Bestrafung der Komplexität, das Jeffreys-Lindley-Paradoxon, das die Sensitivität gegenüber diffusen Prioren aufzeigt, sowie Berechnungsmethoden wie Bridge Sampling.

Core questions

• Was ist die marginale Likelihood und wie verkörpert sie ein automatisches Ockhams Rasiermesser?
• Wie wird ein Bayes-Faktor als Stärke der Evidenz interpretiert?
• Warum sind Bayes-Faktoren empfindlich gegenüber der Wahl des Priors, wie das Jeffreys-Lindley-Paradoxon zeigt?
• Wie wird die marginale Likelihood in der Praxis berechnet?

Key concepts

• marginale Likelihood
• Bayes-Faktor
• Posterior-Odds
• Ockhams Rasiermesser
• Jeffreys-Lindley-Paradoxon
• Bridge Sampling
• Prior-Sensitivität

Key theories

Bayes-Faktor als Evidenz

Der Bayes-Faktor wandelt Prior-Odds in Posterior-Odds um und wird auf kalibrierten Skalen als das Gewicht der Evidenz gelesen, das die Daten für ein Modell gegenüber einem anderen liefern.

Jeffreys-Lindley-Paradoxon

Da die marginale Likelihood von der Streuung des Priors abhängt, kann ein beliebig diffuser Prior den Bayes-Faktor dazu zwingen, das einfachere Modell unabhängig von den Daten zu bevorzugen, weshalb ungeeignete Prioren nicht für den Modellvergleich verwendet werden sollten.

Clinical relevance

Bayes-Faktoren liefern ein prinzipienbasiertes Maß für Evidenz, das in Genetik, Psychologie und Physik zum Vergleich von Hypothesen verwendet wird. Ihre Abhängigkeit vom Prior bedeutet jedoch, dass sie stets zusammen mit den Prioren, die sie erzeugt haben, berichtet werden müssen.

History

Jeffreys entwickelte Bayes-Faktoren für Hypothesentests in den 1930er Jahren; Lindleys Paradoxon von 1957 zeigte ihre Sensitivität gegenüber diffusen Prioren auf. Kass und Rafterys Übersicht von 1995 standardisierte ihre Interpretation und untersuchte rechnerische Ansätze.

Debates

Verwendung von ungeeigneten oder vagen Prioren

Da die marginale Likelihood für ungeeignete Prioren undefiniert und für sehr diffuse Prioren instabil ist, gibt es eine Debatte über Standard-Prioren für den Modellvergleich und ob Bayes-Faktoren in solchen Situationen überhaupt angemessen sind.

Key figures

• Harold Jeffreys
• Dennis Lindley
• Robert Kass
• Adrian Raftery

Seminal works

• kass1995
• lindley1957

Frequently asked questions

Kann ich einen nicht-informativen Prior verwenden, um einen Bayes-Faktor zu berechnen?

Im Allgemeinen nein: Ungeeignete Prioren lassen die marginale Likelihood undefiniert, und sehr diffuse geeignete Prioren verzerren den Bayes-Faktor zugunsten des einfacheren Modells, was die Essenz des Jeffreys-Lindley-Paradoxons ist. Daher erfordern Bayes-Faktoren sorgfältig gewählte geeignete Prioren.