Modèles de processus gaussiens

Un processus gaussien établit une distribution a priori directement sur des fonctions, permettant ainsi d'effectuer une régression et une classification non paramétriques avec une incertitude calibrée.

Definition

Un processus gaussien est une distribution sur des fonctions telle que les valeurs pour tout ensemble fini d'entrées suivent une distribution normale multivariée déterminée par une fonction de moyenne et un noyau de covariance ; le conditionnement sur les données observées donne une distribution a posteriori sur les fonctions utilisées pour la prédiction.

Scope

Ce sujet aborde la définition d'un processus gaussien par ses fonctions de moyenne et de covariance (noyau), la forme fermée de la distribution a posteriori pour la régression, le rôle du choix du noyau et des hyperparamètres dans l'encodage de la régularité, la classification via des processus gaussiens latents, et le coût computationnel des grands ensembles de données.

Core questions

• Comment un noyau de covariance définit-il une distribution a priori sur des fonctions ?
• Comment la distribution a posteriori de la régression par processus gaussien est-elle calculée sous forme fermée ?
• Comment les hyperparamètres du noyau contrôlent-ils la régularité et l'échelle de longueur ?
• Qu'est-ce qui rend l'inférence exacte par processus gaussien coûteuse pour les grands ensembles de données ?

Key concepts

• noyau de covariance
• fonction de moyenne
• échelle de longueur
• régression par processus gaussien
• processus gaussien latent
• vraisemblance marginale
• extensibilité

Key theories

A priori dans l'espace des fonctions

La spécification des fonctions de moyenne et de covariance définit une distribution a priori cohérente sur les fonctions ; pour les vraisemblances gaussiennes, la moyenne et la variance a posteriori ont des formes fermées données par la matrice du noyau.

Limite du réseau de neurones

Neal a montré qu'un réseau de neurones à une seule couche avec un nombre infini d'unités cachées et des distributions a priori appropriées converge vers un processus gaussien, reliant ainsi les réseaux de neurones bayésiens aux distributions a priori des processus gaussiens.

Clinical relevance

Les processus gaussiens offrent une régression flexible avec incertitude pour les statistiques spatiales, l'émulation de modèles informatiques, l'interpolation de séries temporelles et l'optimisation bayésienne dans les domaines scientifiques et de l'ingénierie.

History

La régression par processus gaussiens trouve ses racines dans le krigeage en géostatistique et dans les travaux d'O'Hagan sur l'ajustement de courbes. La connexion établie par Neal en 1996 avec les réseaux de neurones et la monographie de Rasmussen et Williams en 2006 ont fait des processus gaussiens un outil central de l'apprentissage automatique et de la statistique bayésienne non paramétrique.

Debates

Passage à l'échelle pour les grands ensembles de données

Les coûts d'inférence exacte augmentent de manière cubique avec le nombre d'observations, de sorte qu'une grande partie de la recherche porte sur des méthodes parcimonieuses et approximatives qui échangent la précision contre l'extensibilité.

Key figures

• Carl Edward Rasmussen
• Christopher Williams
• Radford Neal
• Anthony O'Hagan

Seminal works

• rasmussen2006
• neal1996

Frequently asked questions

Quel est le rôle du noyau dans un processus gaussien ?

Le noyau établit la covariance entre les valeurs de la fonction à différentes entrées, encodant des hypothèses telles que la régularité et l'échelle de longueur caractéristique ; son choix et ses hyperparamètres déterminent en grande partie la forme et la flexibilité de la fonction inférée.