Bayessche Nichtparametrik

Die Bayessche Nichtparametrik platziert Prioren auf unendlich-dimensionalen Objekten wie Verteilungen und Funktionen, wodurch die Modellkomplexität mit den Daten wachsen kann, anstatt im Voraus festgelegt zu werden.

Definition

Bayessche Nichtparametrik ist der Zweig der Bayesschen Statistik, der Prior-Verteilungen über unendlich-dimensionalen Parameter-Räumen verwendet, sodass sich die effektive Anzahl der Parameter an die Daten anpassen kann, anstatt vom Analytiker festgelegt zu werden.

Scope

Dieser Bereich umfasst Prioren über Wahrscheinlichkeitsmaße und Funktionen: den Dirichlet-Prozess und seine Verwendung in Mischmodellen zur Dichteschätzung und Clusteranalyse, Gaußsche Prozesse für flexible Regression sowie die Stick-Breaking- und Zufallsmaß-Konstruktionen, die diese Prioren aufbauen, zusammen mit Ergebnissen zur Posterioren Konsistenz.

Sub-topics

• Dirichlet-Prozess und Mischmodelle
• Gaußsche-Prozesse-Modelle
• Stick-Breaking und Zufällige Maße

Core questions

• Wie kann ein Prior über einem unendlich-dimensionalen Raum, wie der Menge der Verteilungen, definiert werden?
• Wie unterstützt der Dirichlet-Prozess die Dichteschätzung und Clusteranalyse mit einer unbekannten Anzahl von Komponenten?
• Wie platzieren Gaußsche Prozesse Prioren über Funktionen für eine flexible Regression?
• Wann konzentriert sich die Posterior-Verteilung auf die wahre Verteilung, wenn sich Daten ansammeln?

Key concepts

• Dirichlet-Prozess
• Gaußscher Prozess
• Stick-Breaking-Konstruktion
• Zufallsmaß
• unendliches Mischmodell
• Posteriore Konsistenz
• nichtparametrischer Prior

Key theories

Dirichlet-Prozess-Prior

Fergusons Dirichlet-Prozess ist eine Verteilung über Wahrscheinlichkeitsmaßen, die für die Stichprobenziehung konjugiert ist und den grundlegenden nichtparametrischen Prior für unbekannte Verteilungen liefert.

Posteriore Konsistenz und Raten

Nichtparametrische Bayessche Verfahren können unter bestimmten Bedingungen zeigen, dass sie sich um die wahre Verteilung oder Funktion mit nahezu optimalen Raten konzentrieren, was eine frequentistische Rechtfertigung für die Prioren liefert.

Clinical relevance

Nichtparametrische Bayessche Modelle unterstützen flexible Dichteschätzung, Clustering mit einer unbekannten Anzahl von Gruppen und nichtlineare Regression in der Genomik, im maschinellen Lernen und in der räumlichen Statistik, wo starre parametrische Formen zu restriktiv wären.

History

Ferguson führte den Dirichlet-Prozess 1973 ein, und Sethuramans Stick-Breaking-Darstellung von 1994 machte ihn rechnerisch handhabbar. Gaußsche Prozessmethoden und eine reichhaltige Theorie der Posterioren Konsistenz und Kontraktionsraten, die von Ghosal und van der Vaart im Jahr 2017 zusammengefasst wurden, etablierten die Bayessche Nichtparametrik als ein ausgereiftes Feld.

Debates

Einfluss des Priors in unendlichen Dimensionen

In nichtparametrischen Modellen verschwindet der Prior nie vollständig, sodass seine Konzentrations- und Glättungsannahmen die Inferenz stark beeinflussen können, was Fragen zur Robustheit und Kalibrierung aufwirft.

Key figures

• Thomas Ferguson
• David Blackwell
• Jayaram Sethuraman
• Michael Jordan
• Aad van der Vaart

Seminal works

• ferguson1973
• ghosal2017

Frequently asked questions

Bedeutet 'nichtparametrisch', dass es keine Parameter gibt?

Nein. Es bedeutet, dass das Modell unendlich viele Parameter hat oder äquivalent einen Parameter, der eine ganze Funktion oder Verteilung ist, sodass seine Komplexität mit den Daten wachsen kann, anstatt im Voraus festgelegt zu werden.