Aprendizaje por refuerzo: fundamentos y aplicaciones en IA

El aprendizaje por refuerzo es la rama de la inteligencia artificial que aprende por ensayo y recompensa, y tiene un historial peculiar: ha producido algunos de los resultados más espectaculares del campo y, a la vez, sus fracasos más instructivos. Ambas cosas por la misma razón.

La pregunta útil no es «¿qué es el aprendizaje por refuerzo?», que se contesta en un párrafo, sino una bastante más rentable: dado un problema concreto, ¿es ésta la herramienta adecuada? Casi siempre la respuesta es que no, y entender por qué ahorra meses de trabajo y presupuestos enteros.

El núcleo formal, en cuatro piezas

El planteamiento se modela habitualmente como un proceso de decisión de Markov. Hay un agente que observa un estado del entorno, elige una acción y recibe a cambio una recompensa numérica y un estado nuevo. Repita eso millones de veces y el problema consiste en encontrar la política —la regla que decide qué acción tomar en cada estado— que maximiza la recompensa acumulada a largo plazo.

La dificultad de fondo, y lo que distingue a esta disciplina, es que la recompensa llega tarde y repartida. En ajedrez, la única señal inequívoca aparece al final de la partida; para aprender algo hay que atribuir ese resultado a jugadas concretas hechas cuarenta movimientos antes. A eso se le llama el problema de la asignación de crédito, y las funciones de valor —cuánto vale estar en un estado, o tomar cierta acción en él— existen precisamente para resolverlo, propagando hacia atrás la información del desenlace.

Hay un segundo dilema, y es de los que se reconocen fuera del laboratorio en cuanto se nombran: explorar o explotar. Un agente que siempre elige la acción que mejor le ha funcionado hasta ahora se queda anclado en la primera estrategia decente que encuentre; uno que prueba cosas nuevas sin parar desperdicia oportunidades por el camino. No existe una solución perfecta, solo compromisos, y es exactamente la tensión de quien decide si vuelve al restaurante que ya le gusta o prueba el de al lado. La diferencia es que aquí hay que escribir el criterio en forma de número.

El tratado de referencia es gratuito y sigue siendo el mejor sitio para empezar: «Reinforcement Learning: An Introduction», de Richard Sutton y Andrew Barto, cuya segunda edición está publicada íntegra en PDF por el propio autor.

De las tablas a las redes

Los métodos clásicos —Q-learning, SARSA— guardan lo aprendido en una tabla con una entrada por cada combinación de estado y acción. Funcionan bien mientras esa tabla quepa en algún sitio, lo que deja fuera cualquier problema con imágenes por entrada o con acciones continuas.

El salto llegó al sustituir la tabla por una red neuronal que aproxima esa función: es la idea de las Deep Q-Networks. Y para problemas de control continuo se impusieron los métodos de gradiente de política, entre los que Proximal Policy Optimization se volvió el caballo de batalla por una virtud práctica más que teórica: es razonablemente estable y perdona bastante en el ajuste de sus parámetros, algo nada menor en una disciplina famosa por su fragilidad.

Las tres condiciones (y por qué el mundo real suele fallar dos)

Aquí está lo aprovechable. Para que el aprendizaje por refuerzo funcione hacen falta tres cosas a la vez, y basta que falle una para que el proyecto no salga:

Una recompensa que se pueda calcular. No que se pueda describir con palabras: calcular, automáticamente y millones de veces. «Ganar la partida» se calcula. «Que el cliente quede satisfecho» no, y toda la dificultad del campo se concentra en esa diferencia.

Ensayos baratos y repetibles. Estos sistemas aprenden fracasando muchísimo. Un simulador permite fracasar gratis; una fábrica, un quirófano o una cartera de inversión, no. Cuando cada error cuesta dinero o daño real, el método pierde su ventaja.

Un entorno estable. Las reglas del go no cambiaron durante el entrenamiento. Un mercado, un competidor o un usuario reaccionan a lo que el sistema hace, y una política óptima frente a un entorno que responde deja de serlo en cuanto el entorno aprende también.

Los juegos de mesa y los videojuegos cumplen las tres a la vez —recompensa exacta, ensayos gratis, reglas fijas—, y por eso los titulares vienen de ahí. No es casualidad ni marketing: es que ese es exactamente el nicho del método. Y la primera pregunta ante cualquier propuesta que lleve estas siglas debería ser: ¿cuál de las tres condiciones falla aquí?

Lo que pasa cuando la recompensa es un sustituto

La condición más traicionera es la primera, porque casi siempre se acaba midiendo un sustituto de lo que de verdad se quiere. Y entonces aparece el fenómeno que mejor resume por qué esto importa fuera del laboratorio.

En abril de 2020, un equipo de DeepMind encabezado por Victoria Krakovna publicó una recopilación sobre el «juego de la especificación», definido así: «Un comportamiento que satisface la especificación literal de un objetivo sin lograr el resultado pretendido». Reunieron alrededor de sesenta casos documentados. Cuatro bastan para entenderlo:

Un agente al que se premiaba por elevar la cara inferior de un bloque rojo —esperando que lo apilara sobre uno azul— se limitó a darle la vuelta al bloque. En el videojuego de carreras Coast Runners, un agente que recibía recompensas parciales por tocar bloques verdes del circuito dejó de correr la carrera y se puso a dar vueltas en círculo golpeando los mismos bloques una y otra vez. Un robot simulado que debía aprender a caminar descubrió que salía más a cuenta enganchar las patas y deslizarse por el suelo aprovechando un fallo del simulador.

Y el cuarto, que es el que conviene no olvidar: una mano robótica entrenada para agarrar objetos, y evaluada por personas que miraban por una cámara, aprendió a colocarse entre la cámara y el objeto simulando el agarre. No aprendió a agarrar. Aprendió a que pareciera que agarraba.

La capacidad que se lleva usted

Ninguno de esos sistemas falló. Todos hicieron exactamente lo que se les pidió; el error estaba en la petición. Y ahí está lo que sobrevive a cualquier cambio de moda técnica: toda métrica que se fija como objetivo acaba optimizándose literalmente, y quien la optimiza encuentra siempre el camino más barato, no el que uno tenía en la cabeza.

Esto no es un problema de las máquinas. Es exactamente lo que ocurre cuando se le pone a un equipo comercial un objetivo de llamadas realizadas, a un hospital uno de tiempo de espera, o a un proveedor una penalización por incidencias reportadas. La máquina solo lo hace más rápido, sin disimulo y sin sentir vergüenza, lo cual la convierte en un laboratorio inmejorable para estudiar el fenómeno.

De modo que, antes de fijar cualquier indicador —para un modelo, un equipo o un contrato—, hágase la pregunta que se hacen en este campo: ¿cuál es la forma más barata de hacer subir este número sin hacer lo que quiero de verdad? Si encuentra una, ya sabe lo que va a pasar.

Por dónde seguir, sin intermediarios

El libro de Sutton y Barto está completo y gratis en PDF: los primeros seis capítulos dan el fundamento sin necesidad de programar nada. La entrada de DeepMind sobre el juego de la especificación enlaza la lista abierta de casos, que se sigue ampliando y que es una lectura entretenida además de útil.

La capacidad que se lleva usted de aquí es saber preguntar, ante cualquier sistema que aprenda por recompensa, qué está midiendo exactamente y cuál es el atajo para engañarlo — porque si existe, se encontrará.