Modelos de Procesos Gaussianos

Un proceso gaussiano establece una prioridad directamente en las funciones, de modo que la regresión y la clasificación se pueden realizar de forma no paramétrica con incertidumbre calibrada.

Definition

Un proceso gaussiano es una distribución sobre funciones tal que los valores en cualquier conjunto finito de entradas siguen una distribución normal multivariada determinada por una función de media y un kernel de covarianza; el condicionamiento sobre los datos observados proporciona una posterior sobre las funciones utilizadas para la predicción.

Scope

Este tema cubre la definición de un proceso gaussiano a través de sus funciones de media y covarianza (kernel), la posterior de forma cerrada para la regresión, el papel de la elección del kernel y los hiperparámetros en la codificación de la suavidad, la clasificación a través de procesos gaussianos latentes y el costo computacional de grandes conjuntos de datos.

Core questions

• ¿Cómo define un kernel de covarianza una prioridad sobre las funciones?
• ¿Cómo se calcula la posterior de regresión de procesos gaussianos en forma cerrada?
• ¿Cómo controlan los hiperparámetros del kernel la suavidad y la escala de longitud?
• ¿Qué hace que la inferencia exacta de procesos gaussianos sea costosa para grandes conjuntos de datos?

Key concepts

• kernel de covarianza
• función de media
• escala de longitud
• regresión de procesos gaussianos
• proceso gaussiano latente
• verosimilitud marginal
• escalabilidad

Key theories

Prioridad en el espacio de funciones

La especificación de funciones de media y covarianza define una prioridad coherente sobre las funciones; para las verosimilitudes gaussianas, la media y la varianza posteriores tienen formas cerradas dadas por la matriz del kernel.

Límite de la red neuronal

Neal demostró que una red neuronal de una sola capa con infinitas unidades ocultas y priors adecuados converge a un proceso gaussiano, vinculando las redes neuronales bayesianas con los priors de procesos gaussianos.

Clinical relevance

Los procesos gaussianos proporcionan una regresión flexible con incertidumbre para estadísticas espaciales, emulación de modelos informáticos, interpolación de series temporales y optimización bayesiana en las ciencias y la ingeniería.

History

La regresión de procesos gaussianos tiene sus raíces en el kriging en geoestadística y en el trabajo de O'Hagan sobre el ajuste de curvas. La conexión de Neal en 1996 con las redes neuronales y la monografía de Rasmussen y Williams de 2006 establecieron los procesos gaussianos como una herramienta central de aprendizaje automático y bayesiana no paramétrica.

Debates

Escalado a grandes datos

Los costos de inferencia exacta crecen cúbicamente con el número de observaciones, por lo que gran parte de la investigación se centra en métodos dispersos y aproximados que intercambian precisión por escalabilidad.

Key figures

• Carl Edward Rasmussen
• Christopher Williams
• Radford Neal
• Anthony O'Hagan

Seminal works

• rasmussen2006
• neal1996

Frequently asked questions

¿Qué hace el kernel en un proceso gaussiano?

El kernel establece la covarianza entre los valores de la función en diferentes entradas, codificando suposiciones como la suavidad y la escala de longitud característica; su elección y sus hiperparámetros determinan en gran medida la forma y la flexibilidad de la función inferida.