De los n-gramas a Transformer: cómo evolucionan los modelos de lenguaje

Reeditado el 30 de julio de 2026, este recorrido empieza con una precisión: la historia del procesamiento del lenguaje natural no es exactamente la historia de los modelos de lenguaje. Los sistemas simbólicos, las gramáticas y los diccionarios computacionales fueron decisivos, pero un modelo de lenguaje cumple una función más concreta: asigna probabilidades a secuencias o estima qué unidad puede aparecer dado un contexto.

La evolución tampoco es una marcha limpia desde «reglas primitivas» hasta «comprensión». Cada etapa cambia alguna restricción: cómo se representa una palabra, cuánto contexto puede usarse, qué objetivo se optimiza, qué trabajo se comparte entre tareas y cómo se adapta el sistema. Leer esos ejes permite entender por qué un modelo nuevo mejora y qué no demuestra su puntuación.

De contar secuencias a medir la incertidumbre

En A Mathematical Theory of Communication, publicado en dos partes en 1948, Claude Shannon trató el lenguaje como una fuente estadística y mostró aproximaciones sucesivas al inglés obtenidas al considerar dependencias cada vez mayores. Su objetivo era una teoría de la comunicación, no construir un asistente conversacional, pero dejó dos ideas duraderas: una secuencia puede modelarse mediante probabilidades condicionales y su incertidumbre puede cuantificarse.

Los modelos n‑grama aproximan la probabilidad de la siguiente unidad mirando solo una ventana corta. Son sencillos de contar y consultar, pero la cantidad de combinaciones crece rápidamente. Una secuencia nunca observada obtiene probabilidad nula si no se aplica suavizado; una palabra rara dispone de poca evidencia; dos contextos parecidos no comparten información salvo que el diseñador lo añada. Aun así, estos modelos establecieron un patrón que continúa: entrenar prediciendo unidades del texto y evaluar cuánto sorprende al modelo una muestra separada.

La perplejidad resume esa sorpresa media: más baja significa que el modelo asignó mayor probabilidad al texto de prueba. Sirve para comparar modelos sobre la misma tokenización y el mismo conjunto, pero no es una medida universal de utilidad. Cambiar el vocabulario altera el número; una mejor probabilidad no garantiza factualidad, seguridad ni calidad en una tarea posterior.

Las redes aprenden representaciones compartidas

El salto neural no consistió solo en usar una máquina más grande. El trabajo de 2003 A Neural Probabilistic Language Model aprendía simultáneamente una representación distribuida de cada palabra y la función de probabilidad para secuencias. Palabras que aparecen en contextos semejantes podían compartir rasgos en un espacio continuo. Esa propiedad ataca la dispersión de los conteos: el modelo puede generalizar a combinaciones que no vio exactamente.

El contexto del modelo de Bengio seguía teniendo longitud fija. Las redes neuronales recurrentes, en cambio, actualizan un estado al recorrer la secuencia y permiten que el cálculo dependa de una historia variable. El artículo de Mikolov y colaboradores presentado en Interspeech 2010 comparó un modelo recurrente con un modelo de lenguaje de respaldo sobre dos tareas de habla y mostró mejoras en tasa de error de palabra. El resultado era sobre condiciones definidas, no una prueba de comprensión general.

Las recurrencias también imponen costes: los pasos dependen unos de otros, lo que limita el paralelismo, y aprender dependencias largas es difícil. Variantes con compuertas como LSTM y GRU ayudaron a conservar información, pero no eliminaban el cuello de botella secuencial. La pregunta central de la siguiente etapa fue cómo relacionar posiciones distantes sin hacer pasar toda la información por un único estado actualizado paso a paso.

Contexto calculado: de ELMo al Transformer

Una palabra no tiene una representación única en todos los usos. «Banco» cambia entre una entidad financiera y un asiento. ELMo, presentado en 2018, construía representaciones a partir de los estados internos de un modelo de lenguaje bidireccional profundo; esas representaciones dependían de la oración completa y podían incorporarse a distintos modelos de tarea. El contexto pasó a formar parte del vector de cada aparición, no solo del cálculo posterior.

Un año antes, Attention Is All You Need había presentado Transformer para traducción. Su arquitectura principal sustituyó recurrencia y convoluciones por atención: cada posición calcula qué otras posiciones deben influir en su representación. Esto permitió paralelizar mejor el entrenamiento y conectar tokens alejados de forma más directa. El artículo no creó la atención ni demostró todos los usos posteriores, pero ofreció una arquitectura que podía escalar y reutilizarse.

«Atención» no significa que el sistema conozca qué parte es verdadera o importante para una persona. Es una operación aprendida que combina representaciones. Los pesos de atención tampoco son automáticamente una explicación causal de una salida. Para saber qué aporta la arquitectura hay que mirar el objetivo, los datos, la longitud de contexto, las pruebas y las intervenciones, no convertir el nombre del mecanismo en una facultad humana.

Preentrenar una vez, adaptar de varias maneras

BERT mostró en 2018 una estrategia de preentrenamiento bidireccional basada principalmente en recuperar tokens ocultos. Después ajustaba el modelo completo con datos etiquetados para tareas como clasificación, inferencia o respuesta extractiva a preguntas. No era un generador conversacional en su diseño original: su objetivo y su modo de uso diferían de los modelos autoregresivos que predicen el siguiente token.

T5 estudió sistemáticamente en 2020 el aprendizaje por transferencia y expresó las tareas como texto de entrada a texto de salida. Traducir, resumir o clasificar podía compartir formato, parámetros y preentrenamiento, aunque cada tarea seguía necesitando una definición y una evaluación propias. «Texto a texto» es una interfaz de aprendizaje; no hace equivalentes los errores de una traducción y los de una clasificación.

También en 2020, GPT‑3 evaluó un modelo autoregresivo de 175.000 millones de parámetros mediante instrucciones y ejemplos escritos en el contexto, sin actualizar sus gradientes para cada prueba. El trabajo documentó resultados de cero, uno y pocos ejemplos en numerosas tareas, pero también límites, incluido un rendimiento desigual y problemas metodológicos relacionados con contaminación de datos. El aprendizaje en contexto cambió la interfaz de adaptación; no garantizó que el modelo adquiriera una regla estable ni que su salida fuera verdadera.

Cómo leer la genealogía de un modelo

Una ficha histórica útil empieza por cinco columnas. Representación: símbolos discretos, vectores estáticos o vectores condicionados por contexto. Objetivo: siguiente token, token oculto, secuencia a secuencia u otro criterio. Contexto: ventana fija, estado recurrente o atención con un límite declarado. Adaptación: reglas, ajuste con etiquetas, ajuste completo, módulos adicionales o ejemplos en el contexto. Evaluación: perplejidad, tarea posterior, revisión humana y condiciones de uso.

Esa tabla evita llamar «sucesor» a cualquier modelo publicado después. BERT y GPT‑3 comparten Transformer, pero no el mismo objetivo ni la misma dirección de predicción. Un modelo con más parámetros puede rendir peor si los datos, el presupuesto de entrenamiento o la prueba cambian. Un sistema completo puede además añadir recuperación de documentos, herramientas, filtros y reglas: atribuir todo el resultado al modelo de lenguaje borra componentes decisivos.

Al comparar dos generaciones hay que congelar el eje. La misma prueba debe conservar ejemplos, instrucciones, criterio de puntuación y recursos permitidos; de lo contrario no se sabe si mejoró el modelo o cambió el examen. También conviene separar el coste de entrenar del coste de responder y registrar la versión exacta. Una puntuación sin esos datos es difícil de reproducir y una demostración elegida por el fabricante puede ocultar los casos adversos. La historia técnica se vuelve comprobable cuando cada avance se formula como una diferencia medible bajo condiciones declaradas.

La capacidad transferible es reconstruir cualquier «nueva generación» preguntando qué cambió en representación, objetivo, contexto, adaptación y evaluación. La cronología informa; esos cinco ejes explican.

Nota de corrección · 30 de julio de 2026

Qué decía esta pieza: «Estos modelos avanzados se están aplicando en la generación automática de contenido, chatbots, resumen de textos, traducciones de alta calidad, entre otros. Un estudio de caso notable involucra la implementación de GPT-3 para crear chatbots que ofrecen información médica precisa y personalizada, logrando mejorar la accesibilidad y eficiencia del asesoramiento en salud.»

Qué dice ahora y por qué: El artículo original presentaba un chatbot médico con GPT‑3 como caso notable de información precisa y personalizada, pero no identificaba estudio, sistema, protocolo ni resultado; esa afirmación no se conserva. El paper primario de GPT‑3 documenta las tareas y límites que evaluó, pero no identifica ese chatbot médico. Sin el estudio o sistema que sostenía el ejemplo, no se le atribuye una precisión ni una mejora clínica.