LSTM

Una LSTM (Long Short-Term Memory, «memoria a largo y corto plazo») es un tipo de red neuronal recurrente (RNN) diseñada para aprender dependencias largas en secuencias: relaciones entre elementos muy separados en el tiempo, como la primera y la última palabra de un párrafo. La propusieron Sepp Hochreiter y Jürgen Schmidhuber en 1997.

El problema del gradiente que desvanece

Las RNN simples procesan una secuencia paso a paso y arrastran un estado interno que resume lo visto hasta el momento. En teoría eso les permite recordar información antigua, pero en la práctica chocan con el desvanecimiento del gradiente: al entrenarse, la señal de error que debería corregir las conexiones se encoge exponencialmente conforme retrocede en el tiempo. El resultado es que la red aprende bien las relaciones cercanas, pero olvida las lejanas. Hochreiter y Schmidhuber diseñaron la LSTM precisamente para mantener un flujo de error constante a lo largo de muchos pasos, de modo que una información relevante pueda sobrevivir cientos de instantes sin diluirse.

La celda y las tres puertas

El corazón de una LSTM es la celda de estado, una memoria que atraviesa la secuencia casi sin alteraciones, salvo las que deciden tres puertas (gates), pequeñas subredes que regulan el flujo de información. La puerta de entrada decide qué información nueva se guarda en la celda; la puerta de olvido (forget gate) decide qué se descarta; y la puerta de salida determina qué parte del estado se expone al resto de la red en cada paso. Conviene no confundir la celda con una puerta más: es el depósito de memoria, y las puertas solo lo escriben, lo borran o lo leen. La puerta de olvido, hoy imprescindible, no estaba en el diseño original: la añadieron Felix Gers, Schmidhuber y Fred Cummins en 2000 para que la red aprendiera a reiniciarse ante secuencias largas y continuas.

Auge y relevo por los transformers

Con esas puertas, las LSTM dominaron el modelado de secuencias durante años: traducción automática, reconocimiento de voz, generación de texto y predicción de series temporales se apoyaron en ellas. Aparecieron variantes más ligeras, como la GRU de Cho y sus colegas (2014), que fusiona puertas para simplificar el cálculo. El punto de inflexión llegó en 2017 con los Transformers y su mecanismo de atención: en lugar de recorrer la secuencia paso a paso, procesan todos los elementos en paralelo, lo que acelera el entrenamiento y captura dependencias largas con más eficacia. Desde entonces, los transformers han desplazado a las LSTM en la mayoría de tareas de procesamiento de lenguaje natural. Aun así, la LSTM sigue siendo una pieza clave para entender cómo aprendieron a recordar las redes neuronales, y conserva utilidad en entornos con recursos limitados o secuencias muy largas donde la atención resulta costosa. Documentación: archivo del autor de LSTM; artículo original del Transformer.