Deep Reinforcement Learning

El aprendizaje por refuerzo profundo (Deep Reinforcement Learning o Deep RL) combina el aprendizaje por refuerzo —el paradigma en el que un agente aprende a decidir mediante ensayo, error y recompensa— con redes neuronales profundas que actúan como aproximadores de funciones. En lugar de guardar en una tabla el valor de cada situación posible, la red aprende a estimar la política (qué acción tomar) o la función de valor (cuánto vale un estado), y lo hace directamente a partir de datos crudos.

Esa combinación resuelve un cuello de botella clásico: el aprendizaje por refuerzo tradicional se ahoga cuando el número de estados es enorme. Los fundamentos —proceso de decisión de Markov, política, valor, recompensa— se explican en la ficha «Aprendizaje Reforzado»; aquí nos centramos en lo que aportan las redes profundas.

Por qué las redes profundas: estados de alta dimensión

Un tablero, la pantalla de un videojuego o la cámara de un robot generan estados de dimensión altísima: millones de píxeles cambiantes. Enumerarlos en una tabla es imposible. Una red neuronal profunda, en cambio, comprime esa entrada en representaciones útiles y generaliza a situaciones nunca vistas. Gracias a ello, un agente puede aprender a actuar mirando directamente los píxeles, sin que un humano defina de antemano qué características importan. Fuente primaria.

Hitos: de DQN a AlphaGo

El primer gran hito fue DQN (Deep Q-Network). En «Human-level control through deep reinforcement learning» (Mnih y colegas, DeepMind, revista Nature, 2015), un único agente aprendió a jugar a decenas de juegos de Atari partiendo solo de los píxeles y la puntuación, alcanzando o superando el nivel humano en muchos de ellos. Fuente primaria. Fuente primaria.

Métodos: valor frente a política

Hay dos grandes familias. Los métodos basados en valor, como DQN, aprenden a estimar cuánto vale cada acción y eligen la mejor. Los métodos de gradiente de política ajustan directamente la política; entre ellos, los enfoques actor-crítico como A3C combinan ambas ideas. Uno de los métodos más difundidos es PPO (Proximal Policy Optimization, OpenAI, 2017), que limita cuánto puede cambiar la política en cada paso para entrenar de forma estable y sencilla. Documentación: artículo original de DQN; artículo original de A3C; artículo original de PPO.

Límites honestos

El Deep RL sigue siendo caro y frágil. Sufre una gran ineficiencia de muestras: necesita millones de interacciones para aprender lo que un humano capta en pocos intentos. El entrenamiento es inestable y sensible a los ajustes. Cuesta transferir lo aprendido a entornos distintos, y diseñar la recompensa adecuada es un arte: una recompensa mal planteada produce comportamientos absurdos. La eficiencia, la estabilidad, la transferencia y la interpretabilidad siguen siendo problemas abiertos. Documentación: protocolo experimental de DQN.