Futuro de los modelos de lenguaje en la inteligencia artificial

Cada pocos meses aparece un modelo más grande que el anterior y el titular es siempre el mismo: más parámetros, más capacidad. Conviene saber qué parte de esa ecuación está documentada y cuál no, porque los propios artículos técnicos son mucho más prudentes que los anuncios que los citan.

La arquitectura que lo hizo posible

La base de todo lo actual es el transformer, que sustituyó a las arquitecturas recurrentes. Su pieza central es el mecanismo de atención: en lugar de procesar el texto palabra por palabra en orden, el modelo pondera a la vez la relevancia de todas las partes de la entrada. Eso elimina el procesamiento secuencial y permite un paralelismo masivo, que es lo que hace viable entrenar a esta escala.

El artículo que lo introdujo, «Attention Is All You Need» (2017), dio dos cifras que conviene leer juntas: 28,4 BLEU en la traducción inglés-alemán de WMT 2014, más de dos puntos por encima del mejor resultado anterior incluidos los conjuntos de modelos, y 41,8 BLEU en inglés-francés con un solo modelo, tras «3,5 días de entrenamiento en ocho GPU».

Esa segunda mitad —el coste— es la que casi nunca se cita, y es la que explica por qué el campo entero se movió hacia esta arquitectura. No ganó solo por precisión: ganó porque era mucho más barata de entrenar.

Preentrenar y ajustar: por qué funciona

El método dominante tiene dos fases. Primero un preentrenamiento autosupervisado: el modelo aprende de enormes cantidades de texto sin etiquetar, resolviendo tareas que no requieren anotación humana, como predecir palabras ocultas. Después un ajuste fino con datos etiquetados de la tarea concreta.

BERT (2018) llevó esa idea al contexto bidireccional: entender una palabra en relación con las que la preceden y las que la siguen, no solo en una dirección. Sus resultados: estado del arte en once tareas, con la puntuación GLUE en el 80,5 % —7,7 puntos absolutos de mejora— y el F1 de SQuAD v1.1 en 93,2.

La escala, y lo que su propio artículo admite

El otro camino fue crecer. GPT-3 (2020) se entrenó con 175.000 millones de parámetros, «diez veces más que cualquier modelo de lenguaje no disperso anterior», y su novedad fue aplicarse sin actualizaciones de gradiente ni ajuste fino: la tarea y unos pocos ejemplos se le dan directamente en el texto de entrada.

Y aquí está el detalle que merece la pena retener, porque distingue un artículo científico de un folleto: los propios autores declaran los conjuntos de datos en los que ese aprendizaje con pocos ejemplos falla. No es una nota al pie incómoda, es parte del resultado. Cuando alguien le cite GPT-3 como prueba de que la escala resuelve la generalización, esa sección del artículo es la respuesta.

El coste, y cómo se está conteniendo

Modelos de este tamaño plantean un problema práctico de cómputo y de energía. La respuesta más extendida es la destilación del conocimiento: entrenar un modelo pequeño para que reproduzca el comportamiento de uno grande. DistilBERT (2019) es el caso de referencia: reduce el tamaño del modelo un 40 % conservando el 97 % de sus capacidades de comprensión del lenguaje y siendo un 60 % más rápido.

Conviene leer esas tres cifras como lo que son: tres mediciones distintas. El 97 % se refiere a un conjunto de pruebas estandarizado, no a la tarea concreta de quien lo despliegue.

El coste que la atención no puede esquivar

Hay una propiedad del mecanismo de atención que conviene entender porque decide qué se puede desplegar y qué no. Comparar cada palabra con todas las demás significa que el trabajo crece con el cuadrado de la longitud del texto: duplicar la entrada no duplica el cómputo, lo cuadruplica.

Eso no es un detalle de ingeniería. Es la razón de que las ventanas de contexto se anuncien como una hazaña y de que procesar un documento largo cueste desproporcionadamente más que procesar diez cortos. Y explica por qué siguen existiendo alternativas: en 2019, un equipo de Facebook AI mostró en «Pay Less Attention with Lightweight and Dynamic Convolutions» que las convoluciones dinámicas alcanzaban 29,7 BLEU en la traducción inglés-alemán de WMT'14 —estado del arte entonces— con un coste que escala linealmente con la longitud.

La moraleja para el lector no es que una arquitectura sea mejor que otra, sino que cada mejora de calidad se paga en cómputo, y ese precio decide qué llega al producto. Cuando un modelo excelente no aparece en la herramienta que usted usa, la explicación suele estar aquí y no en el laboratorio.

Sesgos: un problema de datos, no de arquitectura

El tamaño agrava un problema que no crea. Si el corpus de preentrenamiento contiene sesgos —y todo corpus extraído de internet los contiene—, el modelo los aprende junto con la gramática, y el ajuste posterior los propaga a cada tarea derivada. Es un problema de procedencia de los datos y de evaluación, no algo que se arregle cambiando de arquitectura.

El otro futuro: más pequeño y abierto

El relato dominante es que los modelos crecen. La mitad que suele faltar es que, en paralelo, hay una carrera por hacerlos más pequeños y publicarlos con los pesos abiertos, y ahí la destilación dejó de ser un truco de compresión para convertirse en método de entrenamiento.

El informe técnico de Gemma 2 (Google DeepMind, 2024) lo dice sin rodeos: entrenaron «los modelos de 2B y 9B con destilación del conocimiento en lugar de con predicción del siguiente token», mientras el de 27.000 millones seguía la vía convencional. En la misma familia, unos hermanos se destilan y otros no.

DeepSeek-R1 llevó la idea más lejos en 2025, derivando «seis modelos densos (1.5B, 7B, 8B, 14B, 32B, 70B) destilados» de un modelo mayor sobre las familias Qwen y Llama, y publicándolos en abierto. El trabajo acabó en Nature.

Para quien mira esto desde fuera, la consecuencia práctica es la que importa: el modelo que acabará dentro de su teléfono o de su empresa no será el más grande, sino el mejor de los que caben. Y esa frontera se mueve por destilación y cuantización, no por escala.

Conviene además no confundir las dos vías. La cuantización guarda cada parámetro con menos bits y no cambia cuántos hay; la destilación entrena un modelo con menos parámetros para que imite a otro mayor. Se anuncian juntas y se miden distinto, y solo la segunda cambia de verdad el tamaño del modelo.

La capacidad: qué preguntar ante el próximo modelo grande

1. ¿Los parámetros son la noticia, o el resultado? El recuento de parámetros describe el tamaño, no lo que el modelo sabe hacer. Es la cifra más fácil de publicar y la menos informativa por sí sola.

2. ¿Qué dice el artículo sobre dónde falla? Un trabajo serio lo declara — GPT-3 lo hace. Si el material que le enseñan solo contiene victorias, no está leyendo el artículo: está leyendo el resumen de prensa.

3. ¿Cuánto costó, y cuánto cuesta usarlo? El entrenamiento y la inferencia son costes distintos, y el segundo es el que pagará usted si lo despliega. Un modelo que no cabe en su presupuesto de cómputo no es una opción, por bueno que sea.

El fondo

• Vaswani y otros (2017), el artículo del transformer, con las cifras de calidad y de coste juntas.
• Devlin y otros (2018), BERT, para el preentrenamiento bidireccional.
• Brown y otros (2020), GPT-3. Merece la pena buscar en él las secciones donde los autores describen sus propias limitaciones.
• Sanh y otros (2019), DistilBERT, para entender qué se conserva y qué se pierde al comprimir.
• Wu y otros (2019), la comparación directa entre convolución y autoatención, con el argumento del coste lineal frente al cuadrático.