Máquinas de Boltzmann Restringidas

Una máquina de Boltzmann restringida (en inglés «Restricted Boltzmann Machine», RBM) es una red neuronal generativa estocástica de dos capas: una capa visible, que representa los datos, y una capa oculta, que aprende características latentes. Su rasgo definitorio es la palabra «restringida»: hay conexiones entre la capa visible y la oculta, pero ninguna dentro de una misma capa. Esa ausencia de enlaces internos es justamente lo que vuelve tratable su entrenamiento, algo que su antecesora sin restringir, la máquina de Boltzmann general, no permitía en la práctica.

A diferencia de una red que calcula una salida determinista, una RBM aprende una distribución de probabilidad sobre los datos. No responde «esto es un gato»: modela cómo de verosímil es cada configuración posible y puede generar ejemplos nuevos que se parezcan a los que vio.

Dos capas y una función de energía

Las RBM pertenecen a la familia de los modelos basados en energía. A cada configuración conjunta de unidades visibles y ocultas se le asigna un número escalar, su energía, definido por los pesos de las conexiones y los sesgos de cada unidad. La probabilidad de una configuración depende de esa energía a través de la distribución de Boltzmann: cuanto menor es la energía, más probable es la configuración. Entrenar una RBM consiste en ajustar pesos y sesgos para que las configuraciones parecidas a los datos reales tengan poca energía —y, por tanto, alta probabilidad— y las demás tengan mucha. Como las unidades de una capa no se conectan entre sí, dado el estado de una capa las de la otra son condicionalmente independientes, y eso permite muestrearlas en paralelo de un tirón.

Cómo se entrenan: la divergencia contrastiva

El obstáculo del entrenamiento es que calcular con exactitud el término de normalización de la distribución resulta intratable. La solución que popularizó las RBM fue la divergencia contrastiva (contrastive divergence), un algoritmo aproximado que Geoffrey Hinton describió en «Training Products of Experts by Minimizing Contrastive Divergence» (Neural Computation, 2002). En lugar de dejar correr una cadena de muestreo hasta el equilibrio, la divergencia contrastiva da unos pocos pasos de muestreo de Gibbs —a menudo uno solo— y actualiza los pesos con esa estimación aproximada del gradiente. Es rápida, funciona sorprendentemente bien y fue la pieza que hizo prácticas a las RBM.

Su papel histórico y su estatus hoy

En «A Fast Learning Algorithm for Deep Belief Nets», Hinton, Simon Osindero y Yee-Whye Teh mostraron que apilar RBM y preentrenarlas una capa cada vez, sin etiquetas, ofrecía un punto de partida para redes profundas.

Su límite práctico está en el entrenamiento: la divergencia contrastiva aproxima el gradiente; no convierte el cálculo exacto de la distribución en un problema barato. El modelo aprende una distribución, no una prueba de verdad sobre sus muestras.