Clasificación de Procesos Gaussianos

La clasificación con procesos gaussianos es un método bayesiano que asigna entradas a clases y produce probabilidades posteriores bajo un kernel y una aproximación de inferencia. Esas probabilidades expresan el modelo y sus supuestos; no garantizan por sí solas una incertidumbre calibrada.

Qué es un proceso gaussiano

Un proceso gaussiano (GP) es una distribución de probabilidad sobre funciones: una colección de variables aleatorias tal que cualquier subconjunto finito de ellas sigue una distribución gaussiana conjunta. Queda completamente especificado por una función de media y una función de covarianza, llamada kernel, que codifica los supuestos sobre la función (su suavidad, su escala). Es un modelo bayesiano no paramétrico: en lugar de fijar de antemano un número de parámetros, su capacidad crece con los datos.

De la regresión a la clasificación

En regresión, el proceso gaussiano funciona de forma limpia porque la verosimilitud es gaussiana y todo se mantiene tratable. En clasificación, en cambio, las etiquetas son discretas y esa verosimilitud gaussiana ya no es apropiada. La solución es pasar la función latente del GP por una función de enlace —una sigmoide logística o la probit— que comprime su valor al rango [0, 1] y lo convierte en una probabilidad de clase bien definida.

Por qué hacen falta aproximaciones

Ese cambio tiene un precio. Al combinar el a priori gaussiano con una verosimilitud no gaussiana, la inferencia exacta deja de ser factible. El capítulo de clasificación de Rasmussen y Williams desarrolla dos aproximaciones gaussianas a la posterior: Laplace y propagación de expectativas (Expectation Propagation). La lista no debe ampliarse sin anclar cada método a su formulación concreta.

Ventajas y límite

El kernel aporta flexibilidad y las probabilidades hacen explícita la incertidumbre del modelo. En la implementación de scikit-learn, la clasificación con GP escala cúbicamente con el tamaño del conjunto; por eso la propia documentación señala que one-versus-one puede abaratar el cálculo al resolver más problemas sobre subconjuntos menores.