Transformers

Un Transformer es una arquitectura de red neuronal basada por completo en el mecanismo de atención, que procesa una secuencia entera —por ejemplo, un texto— a la vez, prescindiendo de la recurrencia y las convoluciones. La presentaron ocho investigadores de Google en 2017, en el artículo «Attention Is All You Need», encabezado por Ashish Vaswani. Es la arquitectura sobre la que se construyen los grandes modelos de lenguaje que hoy conocemos.

El mecanismo de atención

Su idea central es la autoatención (self-attention): para cada elemento de la secuencia —cada «token»—, el modelo pondera la relevancia de todos los demás y construye su representación en función de ese contexto. La atención multi-cabeza repite ese cálculo en paralelo con varias «cabezas», cada una atenta a un tipo distinto de relación. Como la atención por sí sola no conoce el orden de las palabras, el Transformer añade una codificación posicional —sinusoidal en el diseño original— que inyecta la posición de cada token.

Por qué desplazó a las redes recurrentes

Antes dominaban las redes recurrentes (RNN, LSTM), que procesan la secuencia palabra a palabra, en orden. El Transformer no tiene recurrencia, así que procesa todos los tokens en paralelo. En su artículo, los autores lo resumían así: proponen una arquitectura «basada únicamente en mecanismos de atención, prescindiendo por completo de la recurrencia y las convoluciones», más paralelizable y más rápida de entrenar. Esa paralelización es la que permitió entrenar modelos cada vez mayores.

Codificador, decodificador y variantes

El diseño original tiene dos bloques: un codificador, que lee la entrada, y un decodificador, que genera la salida. De ahí derivan tres familias. Los modelos solo-codificador, como BERT (Google, 2018), leen el texto de forma bidireccional y sirven para clasificar, buscar o responder preguntas. Los solo-decodificador, como la serie GPT (OpenAI, desde 2018), predicen el siguiente token y son la base de la generación de texto. Y los codificador-decodificador se usan en tareas como la traducción.

Su límite: el coste cuadrático

La atención estándar tiene un coste que crece de forma cuadrática con la longitud de la secuencia: al duplicar el número de tokens, el cómputo y la memoria se multiplican por cuatro. Por eso hay una línea de investigación activa para abaratarla, con variantes de atención dispersa o lineal e implementaciones más eficientes en memoria como FlashAttention. También se exploran arquitecturas alternativas de coste lineal, como los modelos de espacio de estados; en 2026, sin embargo, el Transformer sigue siendo la arquitectura de referencia de los grandes modelos de lenguaje.