Aprendizaje Reforzado

El aprendizaje por refuerzo (Reinforcement Learning, RL) es el paradigma en el que un agente aprende a decidir. Situado en un entorno, observa su estado, ejecuta una acción y recibe a cambio una recompensa numérica; repitiendo ese ciclo por ensayo y error, ajusta su comportamiento para maximizar la recompensa acumulada a lo largo del tiempo, no el premio inmediato.

La diferencia con el aprendizaje supervisado es de fondo. Allí un modelo aprende de ejemplos etiquetados que le dicen la respuesta correcta; aquí nadie le indica cuál era la acción óptima. El agente solo dispone de una señal de recompensa, a menudo escasa y diferida, y debe descubrir por sí mismo qué secuencia de decisiones conduce al mejor resultado. Aprende de las consecuencias de sus actos, no de un maestro.

Los elementos y el proceso de decisión de Markov

El RL se formaliza mediante el proceso de decisión de Markov (MDP): un conjunto de estados, un conjunto de acciones, una dinámica que determina cómo se transita de un estado a otro y una función de recompensa. La propiedad de Markov exige que el futuro dependa solo del estado presente, no de toda la historia previa.

Sobre ese marco operan dos piezas centrales. La política es la estrategia del agente: la regla que, dado un estado, decide qué acción tomar. La función de valor estima cuánta recompensa cabe esperar a largo plazo desde un estado (o desde un par estado-acción) y sirve de brújula para mejorar la política. El objetivo del aprendizaje es hallar una política que maximice el valor esperado. Richard Sutton y Andrew Barto fijaron este vocabulario en su obra de referencia, «Reinforcement Learning: An Introduction».

Explorar o explotar: el dilema y sus métodos

Como el agente aprende mientras actúa, afronta una tensión permanente: la exploración frente a la explotación. Explotar es elegir la acción que hoy parece mejor; explorar es probar alternativas cuyo valor aún desconoce, por si esconden algo superior. Explotar de más lo estanca en un óptimo mediocre; explorar de más desperdicia recompensa. Equilibrar ambos impulsos es uno de los problemas fundacionales del campo.

Entre los métodos clásicos destacan tres familias. El aprendizaje por diferencia temporal (TD) actualiza las estimaciones a partir de otras estimaciones, sin esperar al final del episodio. El Q-learning, formulado por Christopher Watkins, aprende directamente el valor de cada acción y converge a la política óptima aunque el agente explore de forma subóptima. Y los métodos de gradiente de política ajustan directamente los parámetros de la política en la dirección que aumenta la recompensa esperada, sin pasar por una función de valor explícita.

Del tablero de juego al RLHF

Durante años el RL brilló en dominios cerrados —juegos de mesa, videojuegos, control de robots— donde la recompensa es clara y las partidas se cuentan por millones. Cuando se combina con redes neuronales profundas para manejar entornos de gran dimensión, hablamos de aprendizaje por refuerzo profundo, que esta enciclopedia trata en su propia entrada.

Quedan frentes abiertos. El diseño de la recompensa sigue siendo delicado: una señal mal planteada empuja al agente a explotar atajos en vez de resolver la tarea. Y la eficiencia de muestras —cuántas interacciones necesita el agente para aprender— limita su uso en el mundo físico, donde cada ensayo cuesta tiempo y recursos.