Regresión de Procesos Gaussianos

La regresión por procesos gaussianos es un método bayesiano y no paramétrico que, en lugar de ajustar los parámetros de una fórmula fija, define una distribución de probabilidad sobre funciones y la actualiza con los datos observados. Un proceso gaussiano es, precisamente, una distribución sobre funciones: una colección de variables aleatorias tal que cualquier subconjunto finito de ellas sigue una distribución normal multivariante.

El papel del kernel

Un proceso gaussiano queda definido por dos elementos: una función de media, que suele fijarse en cero, y una función de covarianza o kernel, que es el corazón del método. El kernel codifica los supuestos sobre las funciones —cómo de suaves son y a qué escala varían—; el más habitual es el exponencial cuadrático (RBF). Sus hiperparámetros se ajustan a los datos, normalmente maximizando la verosimilitud marginal.

Su ventaja: la incertidumbre

La gran baza de este método es que no devuelve solo una predicción puntual, sino una predicción con su incertidumbre: una media y una desviación que permiten construir intervalos de confianza. Además, esa incertidumbre crece a medida que nos alejamos de los datos observados, lo que refleja de forma natural que el modelo sabe menos allí donde no ha visto ejemplos. Por eso los procesos gaussianos son el modelo de referencia en la optimización bayesiana.

Su límite: el coste

Su principal inconveniente es computacional: el ajuste escala como el cubo del número de datos (por la inversión de la matriz de covarianza), lo que lo hace poco práctico con conjuntos grandes. Para sortearlo existen métodos «dispersos» que aproximan el modelo con un número reducido de puntos representativos.