Clasificación de Procesos Gaussianos

La clasificación con procesos gaussianos es un método bayesiano que asigna entradas a clases y produce probabilidades posteriores bajo un kernel y una aproximación de inferencia. Esas probabilidades expresan el modelo y sus supuestos; no garantizan por sí solas una incertidumbre calibrada.

Qué es un proceso gaussiano

Un proceso gaussiano (GP) es una distribución de probabilidad sobre funciones: una colección de variables aleatorias tal que cualquier subconjunto finito de ellas sigue una distribución gaussiana conjunta. Queda completamente especificado por una función de media y una función de covarianza, llamada kernel, que codifica los supuestos sobre la función (su suavidad, su escala). Es un modelo bayesiano no paramétrico: en lugar de fijar de antemano un número de parámetros, su capacidad crece con los datos.

De la regresión a la clasificación

En regresión, el proceso gaussiano funciona de forma limpia porque la verosimilitud es gaussiana y todo se mantiene tratable. En clasificación, en cambio, las etiquetas son discretas y esa verosimilitud gaussiana ya no es apropiada. La solución es pasar la función latente del GP por una función de enlace —una sigmoide logística o la probit— que comprime su valor al rango [0, 1] y lo convierte en una probabilidad de clase bien definida.

Por qué hacen falta aproximaciones

Ese cambio tiene un precio. Al combinar el a priori gaussiano con una verosimilitud no gaussiana, la distribución posterior deja de tener forma cerrada y no puede calcularse de manera exacta. Por eso la clasificación con GP recurre a métodos de inferencia aproximada: la aproximación de Laplace, la propagación de expectativas (Expectation Propagation) o la inferencia variacional, que sustituyen la posterior intratable por una aproximación gaussiana.

Ventajas y límite

El kernel aporta flexibilidad y las probabilidades hacen explícita la incertidumbre del modelo. Su talón de Aquiles es el coste computacional, que dificulta usarlo con conjuntos grandes.