Muestreo de Importancia

El muestreo de importancia (en inglés, importance sampling) es una técnica de Monte Carlo para estimar el valor esperado de una función bajo una distribución objetivo p cuando muestrear directamente de p es difícil o ineficiente. La idea es muestrear de otra distribución más conveniente —la distribución propuesta q— y corregir cada muestra con un peso de importancia igual al cociente p(x)/q(x), de modo que la estimación siga siendo insesgada.

En texto plano: si tomamos n muestras independientes x1, …, xn de q, el estimador es el promedio de f(xi) multiplicado por su peso p(xi)/q(xi). Al reponderar, cada muestra pesa lo que debería bajo p aunque se generara bajo q. Thomas Kloek y Herman van Dijk formalizaron el método en 1978; Art B. Owen lo sistematiza en su tratado Monte Carlo theory, methods and examples.

La idea: muestrear de q y reponderar

Muchas preguntas de la estadística y la física se reducen a calcular un promedio: el valor esperado de f bajo p. Cuando p es intratable o casi toda su masa vive en regiones minúsculas, muestrear de p desperdicia esfuerzo. El muestreo de importancia sortea el obstáculo eligiendo una q fácil de muestrear y deshaciendo el sesgo introducido mediante el peso p(x)/q(x). El nombre viene de ahí: si q concentra las muestras donde el integrando es importante —donde f(x)p(x) es grande—, unas pocas muestras bien colocadas bastan para una estimación precisa. La corrección por pesos garantiza que, en promedio, el resultado no se desvía del verdadero.

Cuándo reduce la varianza y cuándo la dispara

El muestreo de importancia no cambia el valor esperado, pero sí su varianza, y ahí está todo el juego. Con una q bien elegida —idealmente proporcional a |f(x)|p(x)— la varianza cae drásticamente frente al Monte Carlo ingenuo. El problema es que esa q óptima depende de la propia cantidad que queremos calcular, así que en la práctica es inalcanzable y solo se aproxima. El riesgo aparece cuando q ignora regiones donde p tiene masa: allí el cociente p(x)/q(x) se dispara y unos pocos pesos enormes dominan la suma. Los pesos adquieren cola pesada, la varianza crece —a veces se vuelve infinita— y la estimación se vuelve inestable. Elegir una buena q es, por eso, el problema central y no resuelto de la técnica; propuestas como el Pareto smoothed importance sampling de Vehtari y colaboradores buscan diagnosticar y domar esas colas.

Usos: de la integral bayesiana al off-policy en RL

La técnica es transversal: integración numérica, estimación de sucesos raros en fiabilidad y física, y cómputo de constantes de normalización en estadística bayesiana, donde Christopher Bishop la presenta como método básico de inferencia aproximada. En procesamiento de lenguaje, Yoshua Bengio y Jean-Sébastien Sénécal la emplearon para acelerar el entrenamiento de modelos de lenguaje, evitando recorrer todo el vocabulario en cada paso. En aprendizaje por refuerzo sostiene el aprendizaje off-policy: evaluar una política a partir de datos generados por otra distinta. Cada transición se corrige con el cociente entre la probabilidad de la acción bajo la política objetivo y bajo la política de comportamiento; Sutton y Barto detallan las variantes ordinaria y ponderada, con su compromiso entre sesgo y varianza. En todos los casos, la misma advertencia: la potencia del método vive y muere con la calidad de q.