Muestreo de Gibbs

El muestreo de Gibbs es un algoritmo de Monte Carlo basado en cadenas de Markov (MCMC) que sirve para obtener muestras de una distribución de probabilidad conjunta de varias variables cuando muestrearla directamente es difícil, pero muestrear cada variable por separado sí es factible. Es una herramienta básica de la estadística bayesiana computacional.

Cómo funciona

La idea es descomponer un problema difícil en muchos fáciles. En lugar de muestrear todas las variables a la vez, el algoritmo las recorre una por una, y actualiza cada una a partir de su distribución condicional completa: su distribución dados los valores actuales de todas las demás. Repitiendo este barrido muchas veces se genera una cadena de muestras que, tras un periodo inicial de calentamiento (burn-in) que suele descartarse, se aproxima a la distribución conjunta que se buscaba.

De dónde viene

Stuart y Donald Geman lo describieron en 1984 en un trabajo sobre restauración bayesiana de imágenes publicado en IEEE Transactions on Pattern Analysis and Machine Intelligence. El nombre rinde homenaje al físico Josiah Willard Gibbs, por la analogía con la mecánica estadística. Técnicamente, el muestreo de Gibbs es un caso particular del algoritmo de Metropolis-Hastings en el que cada propuesta —tomada de la propia condicional— se acepta siempre.

Para qué sirve

Es un caballo de batalla de la inferencia bayesiana, sobre todo para muestrear distribuciones posteriores de modelos gráficos. En IA aparece en dos lugares conocidos. Griffiths y Steyvers emplearon muestreo de Gibbs colapsado para inferir tópicos, integrando fuera algunos parámetros antes de actualizar la asignación de cada palabra. En productos de expertos con estructura bipartita —la estructura de una máquina de Boltzmann restringida—, Hinton describió barridos Gibbs alternos que actualizan en paralelo unidades ocultas y visibles. «Usar Gibbs» no nombra, por sí solo, el objetivo de entrenamiento ni cuántos pasos bastan.

Sus límites

El método tiene condiciones y puntos débiles. Exige poder muestrear de todas las condicionales completas. Cuando las variables están muy correlacionadas, actualizar una por una puede hacer que la cadena avance a pasitos por una región estrecha. Un análisis de mezclas finitas muestra un caso concreto en el que variables latentes correlacionadas convergen muy despacio y el muestreo por bloques reduce la autocorrelación. Diagnosticar la convergencia tampoco es una lectura mecánica: Gill documenta diagnósticos que pueden discrepar y dimensiones que parecen converger mientras otras no. Reparametrizar, bloquear variables y comparar varias cadenas son respuestas, no certificados automáticos.