Redes Neuronales Recurrentes

Una red neuronal recurrente (Recurrent Neural Network, RNN) es una arquitectura pensada para procesar secuencias —texto, voz, series temporales— elemento a elemento en lugar de todos a la vez. Su rasgo definitorio es el estado oculto (hidden state): un vector de memoria que la red actualiza en cada paso y que resume lo visto hasta ese instante.

Ese estado se reinyecta en la red junto con la siguiente entrada, de modo que la respuesta en cada momento depende no solo del dato actual, sino de todo el contexto acumulado. Esa memoria interna es lo que permite a una RNN captar el orden y las dependencias temporales de una secuencia, algo que una red convencional, sin bucle de realimentación, no puede hacer.

Cómo funcionan: estado oculto y retropropagación en el tiempo

En cada paso, la RNN combina la entrada actual con el estado oculto anterior aplicando los mismos pesos, reutilizados una y otra vez a lo largo de la secuencia. Así, con un número fijo de parámetros, puede tratar secuencias de cualquier longitud. Para entrenarla se usa la retropropagación a través del tiempo (backpropagation through time, BPTT), formalizada por Paul Werbos en 1990: la red se «despliega» en el tiempo como si fuera una red profunda con pesos compartidos, y el error se propaga hacia atrás a lo largo de todos los pasos de la secuencia.

El problema del gradiente y las soluciones LSTM y GRU

Ese entrenamiento tropieza con un obstáculo de fondo. Bengio, Simard y Frasconi demostraron en 1994 que aprender dependencias largas con descenso de gradiente es difícil: al propagar el error muchos pasos hacia atrás, el gradiente tiende a desvanecerse —acercarse a cero, con lo que la red olvida lo lejano— o a explotar, creciendo sin control. La explosión se contiene recortando la norma del gradiente; el desvanecimiento exigió rediseñar la propia celda.

La respuesta más influyente fue la LSTM (Long Short-Term Memory): añade una celda de memoria y unas puertas —de entrada, olvido y salida— que deciden qué información guardar, descartar y emitir, manteniendo un flujo de error estable a lo largo de muchos pasos. En 2014, Kyunghyun Cho y sus colaboradores propusieron la GRU (Gated Recurrent Unit), que simplifica la idea con solo dos puertas —de actualización y de reinicio—, menos parámetros y resultados a menudo comparables. Fuente primaria.

Las RNN frente a los Transformers hoy

El artículo «Attention Is All You Need» presentó el Transformer, una arquitectura basada en el mecanismo de atención que procesa la secuencia entera en paralelo y prescinde de la recurrencia. El paper informó de más paralelización, menor tiempo de entrenamiento y resultados de traducción concretos. Esa evidencia convirtió al Transformer en una arquitectura central del lenguaje, pero no mide todos los dominios ni demuestra que la recurrencia haya desaparecido.

El relevo, sin embargo, no es total. La atención tiene un coste que crece de forma cuadrática con la longitud de la secuencia y necesita ver el texto completo, mientras que una RNN avanza un paso cada vez con un estado compacto. Eso mantiene su interés en el procesamiento en streaming, en dispositivos con recursos limitados y en ciertas series temporales. Cómo unir la eficiencia de lo recurrente con la calidad de la atención sigue siendo un problema abierto: líneas recientes, como los modelos de espacio de estados, exploran precisamente esa frontera. Fuente primaria. Fuente primaria.