Gaußsche-Prozesse-Modelle

Ein Gaußscher Prozess legt eine Prior-Verteilung direkt auf Funktionen, sodass Regression und Klassifikation nicht-parametrisch mit kalibrierter Unsicherheit durchgeführt werden können.

Definition

Ein Gaußscher Prozess ist eine Verteilung über Funktionen, sodass die Werte bei jeder endlichen Menge von Eingaben einer multivariaten Normalverteilung folgen, die durch eine Mittelwertfunktion und einen Kovarianzkernel bestimmt wird; die Konditionierung auf beobachtete Daten ergibt eine Posterior-Verteilung über Funktionen, die für die Vorhersage verwendet werden.

Scope

Dieses Thema behandelt die Definition eines Gaußschen Prozesses durch seine Mittelwert- und Kovarianz-(Kernel-)Funktionen, die geschlossene Form der Posterior-Verteilung für die Regression, die Rolle der Kernelwahl und der Hyperparameter bei der Kodierung von Glattheit, die Klassifikation mittels latenter Gaußscher Prozesse und die Berechnungskosten großer Datensätze.

Core questions

• Wie definiert ein Kovarianzkernel eine Prior-Verteilung über Funktionen?
• Wie wird die Posterior-Verteilung der Gaußschen-Prozess-Regression in geschlossener Form berechnet?
• Wie steuern Kernel-Hyperparameter Glattheit und Längenskala?
• Was macht die exakte Gaußsche-Prozess-Inferenz für große Datensätze aufwendig?

Key concepts

• Kovarianzkernel
• Mittelwertfunktion
• Längenskala
• Gaußsche-Prozess-Regression
• latenter Gaußscher Prozess
• marginale Likelihood
• Skalierbarkeit

Key theories

Funktionsraum-Prior

Die Spezifikation von Mittelwert- und Kovarianzfunktionen definiert einen kohärenten Prior über Funktionen; für Gaußsche Likelihoods haben der Posterior-Mittelwert und die Varianz geschlossene Formen, die durch die Kernelmatrix gegeben sind.

Grenzwert neuronaler Netze

Neal zeigte, dass ein einschichtiges neuronales Netz mit unendlich vielen versteckten Einheiten und geeigneten Priors zu einem Gaußschen Prozess konvergiert, wodurch Bayessche neuronale Netze mit Gaußschen-Prozess-Prioren verknüpft werden.

Clinical relevance

Gaußsche Prozesse bieten flexible Regressionen mit Unsicherheitsangaben für räumliche Statistiken, Emulation von Computermodellen, Zeitreiheninterpolation und Bayessche Optimierung in den Wissenschaften und im Ingenieurwesen.

History

Die Gaußsche-Prozess-Regression hat ihre Wurzeln im Kriging in der Geostatistik und in O'Hagans Arbeit zur Kurvenanpassung. Neals Verbindung zu neuronalen Netzen im Jahr 1996 und die Monographie von Rasmussen und Williams aus dem Jahr 2006 etablierten Gaußsche Prozesse als zentrales Werkzeug des maschinellen Lernens und der nicht-parametrischen Bayes'schen Statistik.

Debates

Skalierung auf große Datenmengen

Die Kosten der exakten Inferenz wachsen kubisch mit der Anzahl der Beobachtungen, daher konzentriert sich ein Großteil der Forschung auf dünnbesetzte und approximative Methoden, die Genauigkeit gegen Skalierbarkeit eintauschen.

Key figures

• Carl Edward Rasmussen
• Christopher Williams
• Radford Neal
• Anthony O'Hagan

Seminal works

• rasmussen2006
• neal1996

Frequently asked questions

Was bewirkt der Kernel in einem Gaußschen Prozess?

Der Kernel legt die Kovarianz zwischen Funktionswerten an verschiedenen Eingaben fest und kodiert Annahmen wie Glattheit und charakteristische Längenskala; seine Wahl und seine Hyperparameter bestimmen maßgeblich die Form und Flexibilität der inferierten Funktion.