Clasificación de Procesos Gaussianos

La clasificación con procesos gaussianos es un método de aprendizaje automático bayesiano para asignar cada entrada a una clase, devolviendo además una medida de incertidumbre sobre esa predicción. Se apoya en un objeto matemático elegante, el proceso gaussiano, y su referencia canónica es el libro de Carl Rasmussen y Christopher Williams, Gaussian Processes for Machine Learning (2006).

Qué es un proceso gaussiano

Un proceso gaussiano (GP) es una distribución de probabilidad sobre funciones: una colección de variables aleatorias tal que cualquier subconjunto finito de ellas sigue una distribución gaussiana conjunta. Queda completamente especificado por una función de media y una función de covarianza, llamada kernel, que codifica los supuestos sobre la función (su suavidad, su escala). Es un modelo bayesiano no paramétrico: en lugar de fijar de antemano un número de parámetros, su capacidad crece con los datos.

De la regresión a la clasificación

En regresión, el proceso gaussiano funciona de forma limpia porque la verosimilitud es gaussiana y todo se mantiene tratable. En clasificación, en cambio, las etiquetas son discretas y esa verosimilitud gaussiana ya no es apropiada. La solución es pasar la función latente del GP por una función de enlace —una sigmoide logística o la probit— que comprime su valor al rango [0, 1] y lo convierte en una probabilidad de clase bien definida.

Por qué hacen falta aproximaciones

Ese cambio tiene un precio. Al combinar el a priori gaussiano con una verosimilitud no gaussiana, la distribución posterior deja de tener forma cerrada y no puede calcularse de manera exacta. Por eso la clasificación con GP recurre a métodos de inferencia aproximada: la aproximación de Laplace, la propagación de expectativas (Expectation Propagation) o la inferencia variacional, que sustituyen la posterior intratable por una aproximación gaussiana.

Ventajas y límite

Sus virtudes son claras: entrega predicciones probabilísticas con incertidumbre calibrada —mayor donde hay pocos datos—, rinde bien con muestras pequeñas y es muy flexible a través del kernel. Su talón de Aquiles es el coste computacional: escala como el cubo del número de datos (O(n³)), lo que dificulta usarlo con conjuntos grandes. Para mitigarlo existen los GP dispersos, que resumen los datos en un número reducido de puntos inductivos.