Muestreo de Gibbs

El muestreo de Gibbs es un algoritmo de Monte Carlo basado en cadenas de Markov (MCMC) que sirve para obtener muestras de una distribución de probabilidad conjunta de varias variables cuando muestrearla directamente es difícil, pero muestrear cada variable por separado sí es factible. Es una herramienta básica de la estadística bayesiana computacional.

Cómo funciona

La idea es descomponer un problema difícil en muchos fáciles. En lugar de muestrear todas las variables a la vez, el algoritmo las recorre una por una, y actualiza cada una a partir de su distribución condicional completa: su distribución dados los valores actuales de todas las demás. Repitiendo este barrido muchas veces se genera una cadena de muestras que, tras un periodo inicial de calentamiento (burn-in) que suele descartarse, se aproxima a la distribución conjunta que se buscaba.

De dónde viene

Lo describieron Stuart y Donald Geman en 1984, en un trabajo sobre restauración bayesiana de imágenes publicado en IEEE Transactions on Pattern Analysis and Machine Intelligence. El nombre rinde homenaje al físico Josiah Willard Gibbs, por la analogía con la mecánica estadística. Técnicamente, el muestreo de Gibbs es un caso particular del algoritmo de Metropolis-Hastings en el que cada propuesta —tomada de la propia condicional— se acepta siempre.

Para qué sirve

Es un caballo de batalla de la inferencia bayesiana, sobre todo para muestrear la distribución posterior de modelos gráficos y redes bayesianas. En el terreno de la IA aparece en dos lugares muy conocidos: el ajuste de los modelos de tópicos como LDA, mediante una variante llamada collapsed Gibbs sampling, y el entrenamiento de las máquinas de Boltzmann restringidas.

Sus límites

El método tiene condiciones y puntos débiles. Exige poder muestrear de todas las condicionales completas. Y, sobre todo, su convergencia se vuelve lenta cuando las variables están muy correlacionadas: actualizar de una en una hace que la cadena se mueva a pasitos y explore mal el espacio. Además, saber cuándo ha convergido no es trivial; se recurre a diagnósticos como el estadístico de Gelman-Rubin o el tamaño de muestra efectivo.