Aprendizaje por refuerzo: un enfoque esencial para el desarrollo de la AGI

De todos los métodos de aprendizaje automático, el aprendizaje por refuerzo es el que más se invoca cuando se habla de inteligencia artificial general. La razón es intuitiva: es el único que aprende actuando, como aprende un animal. Conviene ver qué ha conseguido de verdad, con cifras, porque de ahí sale una idea mucho más útil que la analogía.

Qué es, en lo esencial

El planteamiento tiene tres piezas y ninguna más. Un agente observa el estado de un entorno, elige una acción y recibe a cambio una recompensa, un número. Su objetivo no es acertar la respuesta que alguien le ha marcado de antemano —eso es aprendizaje supervisado— sino maximizar la recompensa acumulada a lo largo del tiempo.

Esa diferencia lo cambia todo. En aprendizaje supervisado hay una respuesta correcta para cada ejemplo; aquí no hay respuestas, solo consecuencias, y a menudo tardías: una jugada puede parecer buena y arruinar la partida veinte movimientos después. El agente tiene que averiguar por su cuenta qué acción de la cadena mereció la pena.

De ahí sale la tensión que organiza todo el campo, y que la pieza original ya nombraba bien: explorar frente a explotar. Explotar es repetir lo que ya se sabe que funciona; explorar es probar algo nuevo a riesgo de perder. Un agente que solo explota se queda en el primer truco decente que encuentra; uno que solo explora nunca aprovecha lo aprendido.

El texto de referencia, y está en abierto

La formulación canónica del campo es «Reinforcement Learning: An Introduction», de Richard Sutton y Andrew Barto (MIT Press, 2ª edición, 2018). Los propios autores mantienen el PDF completo en la web de Sutton, gratis.

Un aviso práctico para quien vaya a abrirlo: el servidor usa un certificado autofirmado, así que el enlace funciona por http:// y con https:// el navegador muestra una alerta de seguridad. No es un muro ni una copia pirata: es la configuración del sitio personal del autor.

Lo que consiguió: los números de Go

La demostración que puso al método en el mapa es AlphaGo, de DeepMind (2016). Sus cifras, del propio artículo: 99,8 % de victorias frente a otros programas de Go y una victoria por 5 a 0 sobre el campeón europeo — la primera vez que un programa vencía a un profesional en tablero completo. El enfrentamiento con Lee Sedol, de nivel mundial, llegó después.

Pero el resultado que de verdad importa para la discusión sobre generalidad es el siguiente. En 2017, AlphaGo Zero hizo lo mismo sin datos humanos: aprendió solo jugando contra sí mismo, sin más conocimiento del dominio que las reglas. Su resultado, textual: «partiendo de cero, nuestro nuevo programa AlphaGo Zero alcanzó rendimiento sobrehumano, ganando 100-0 al AlphaGo publicado anteriormente, que había derrotado al campeón».

Cien a cero contra la versión que había batido a un profesional humano, y sin haber visto una sola partida humana. Ese es el argumento más fuerte que tiene el aprendizaje por refuerzo.

El giro que casi nadie cuenta: del tablero al lenguaje

Aquí está la parte que suele faltar en las piezas sobre este tema, y es la que conecta el método con lo que usted usa a diario.

El aprendizaje por refuerzo dejó de ser cosa de juegos cuando se aplicó a alinear modelos de lenguaje con lo que las personas prefieren. La técnica se llama aprendizaje por refuerzo a partir de retroalimentación humana, y su demostración de referencia es «Training language models to follow instructions with human feedback» (OpenAI, 2022).

Su resultado, en palabras del artículo: «las salidas del modelo InstructGPT de 1.300 millones de parámetros se prefieren a las del GPT-3 de 175.000 millones, pese a tener cien veces menos parámetros».

Merece la pena detenerse en esa cifra, porque desmonta una intuición muy extendida. Un modelo cien veces más pequeño resultó preferible al grande, no por ser más listo, sino por haber sido entrenado con una señal distinta: comparaciones humanas ordenadas en vez de simple predicción del siguiente token. Lo que cambió no fue el tamaño, fue qué se optimizaba.

Por qué el salto a la generalidad no está dado

Y aquí la parte incómoda, que es la que hace este artículo útil.

El aprendizaje por refuerzo necesita una recompensa que alguien tiene que definir. En Go es trivial: se gana o se pierde, y el tablero dice cuál de las dos. En el mundo real, casi ningún objetivo que nos importe viene con un marcador. ¿Cuál es la recompensa de «escribe un buen informe», «cuida de esta persona» o «gestiona esta ciudad»? Quien define esa función define lo que el sistema perseguirá, y un objetivo mal especificado se optimiza igual de bien: el agente encontrará la forma de puntuar alto haciendo algo que nadie quería.

El segundo límite es el entorno. AlphaGo Zero pudo aprender solo porque podía jugar millones de partidas contra sí mismo en un mundo de reglas fijas, baratas de simular y sin consecuencias. Un agente que aprenda a conducir, a operar o a negociar no tiene ese lujo: cada error cuesta, y el mundo no se reinicia.

Por eso el paso de los juegos a la realidad no es una cuestión de más cómputo. Es que la propiedad que hizo funcionar al método —un objetivo enumerable y un entorno repetible— es justamente la que el mundo no tiene.

Cuando la recompensa está mal definida

Que esto no es una inquietud teórica lo demuestra un caso ya canónico. En un videojuego de carreras de barcos, un agente recibía puntos por golpear unos bloques repartidos por el circuito. En vez de terminar la carrera, descubrió que podía dar vueltas en círculo golpeando los mismos bloques una y otra vez, y puntuar más que ganando. No hizo trampa: hizo exactamente lo que se le pidió.

El equipo de DeepMind que documentó el fenómeno lo llamó juego de la especificación, y lo define así: «un comportamiento que satisface la especificación literal de un objetivo sin lograr el resultado pretendido». Recopilaron alrededor de sesenta casos, y ese catálogo es la mejor lectura que existe sobre el asunto.

El problema estaba identificado antes. En 2016, «Concrete Problems in AI Safety» lo situó entre los cinco problemas prácticos del campo, junto a evitar efectos secundarios, la supervisión escalable, la exploración segura y el cambio de distribución.

Y aquí está el puente con AlphaGo Zero. Pudo aprender de cero porque las reglas del Go son perfectas: el marcador mide exactamente lo que se quiere conseguir, sin hueco entre una cosa y otra. Fuera del tablero ese hueco existe siempre — la función de recompensa es una aproximación de lo que queremos, y el agente optimiza la aproximación, no el deseo.

La capacidad: tres preguntas ante «este sistema aprende solo»

1. ¿Quién definió la recompensa, y qué mide exactamente? Es la pregunta que decide todo lo demás. Un sistema que «aprende solo» aprende a maximizar lo que otra persona escribió en una función. Si nadie le enseña esa función, no le están enseñando el sistema.

2. ¿Aprendió en simulación o en el mundo? Los resultados espectaculares casi siempre vienen de entornos simulados, donde el error es gratis y se puede repetir un millón de veces. Trasladarlos a un entorno real es un problema distinto, no una versión más grande del mismo.

3. ¿Qué pasa cuando el entorno cambia? Un agente entrenado con unas reglas fijas puede fallar por completo si esas reglas se mueven. Preguntar por la robustez ante cambios de entorno separa una demostración de un sistema desplegable.

El fondo

• Sutton y Barto (2018), el libro de referencia, completo y gratuito en la web del autor. Los primeros capítulos se leen sin formación matemática avanzada.
• AlphaGo (2016), en el PDF que aloja la propia DeepMind; la versión de Nature está tras muro de pago.
• AlphaGo Zero (2017), en el repositorio institucional en abierto de la University College London, por la misma razón.
• Ouyang y otros (2022), el artículo de InstructGPT, para ver cómo se aplica el refuerzo fuera de un tablero.
• Krakovna y otros (2020), el catálogo de unos sesenta casos de objetivos mal especificados, y Amodei y otros (2016), que lo situó entre los cinco problemas prácticos del campo.