Introducción a los modelos de lenguaje en la inteligencia artificial

El 30 de julio de 2026, un modelo de lenguaje moderno puede recibir una frase y producir una continuación fluida en segundos. Describirlo como una máquina que «comprende palabras» no permite comprobar nada. La explicación útil sigue el cálculo: texto → tokens → vectores → capas Transformer → logits → probabilidades → selección. Cada flecha contiene una decisión que afecta lo que el modelo puede ver, aprender y devolver.

Un modelo de lenguaje asigna probabilidades a secuencias. Esa definición, que también cubre a los n-gramas, es la puerta de entrada correcta. La diferencia moderna está en cómo representa el contexto y estima la distribución. La capacidad que se lleva el lector es reconstruir una predicción token a token sin confundir el modelo base con la interfaz conversacional que lo rodea.

Primer paso: el texto se convierte en tokens

La red no recibe palabras impresas. Un tokenizador transforma caracteres en identificadores de un vocabulario finito. Un token puede ser una palabra, un fragmento, un signo o incluso una unidad más pequeña según el sistema. El trabajo de SentencePiece, por ejemplo, describe un tokenizador de subwords que puede entrenarse sobre texto sin una segmentación previa dependiente de la lengua.

La tokenización determina longitud y cobertura. Una palabra frecuente puede ocupar un token y otra dividirse en varios. Una misma frase puede tener distinto coste y distinto límite efectivo de contexto en dos tokenizadores. También condiciona qué regularidades resultan fáciles de compartir entre flexiones, alfabetos o lenguas. Por eso «acepta 100.000 tokens» no equivale a la misma cantidad de palabras, documentos o información para todas las entradas.

Antes del primer token suelen añadirse marcadores de inicio, fin, separación o rol. En una conversación, el sistema puede serializar instrucciones y mensajes con un formato que el modelo vio durante su ajuste. Ese protocolo pertenece a la entrada; no aparece espontáneamente dentro de los pesos.

Segundo paso: cada identificador se vuelve un vector

El identificador consulta una tabla de embeddings. El resultado es un vector de números que se ajusta durante el entrenamiento. Tokens usados en contextos que exigen comportamientos parecidos pueden adquirir representaciones que permiten compartir evidencia. El modelo probabilístico neuronal de Bengio y sus coautores hizo explícito este puente entre representaciones distribuidas y probabilidad de secuencias.

Un embedding no es una definición de diccionario. Es un estado inicial para el cálculo, dependiente del vocabulario, los datos y el objetivo. A medida que atraviesa las capas, la representación de una posición incorpora información del contexto permitido.

Como la atención por sí sola no conoce el orden, la arquitectura añade información posicional. El Transformer original usó codificaciones sinusoidales y también planteó posiciones aprendidas como alternativa. Modelos posteriores adoptan otros mecanismos. Sin una señal de posición, dos secuencias con los mismos tokens en distinto orden serían difíciles de distinguir mediante atención pura.

Tercer paso: Q, K y V organizan la atención

En una cabeza de autoatención, cada representación se proyecta en tres vectores: consulta (query, Q), clave (key, K) y valor (value, V). Para una posición, el producto entre su consulta y las claves produce puntuaciones de compatibilidad. Se escalan, se aplica una máscara y una función softmax las convierte en pesos. La salida es una suma ponderada de los valores.

La metáfora de una búsqueda ayuda: Q expresa qué señal necesita la posición; K, qué señal ofrece cada posición; V, qué contenido se mezcla si recibe peso. Pero no son frases ni reglas legibles. Son proyecciones aprendidas y su significado depende de la red completa.

La atención multi-cabeza repite el proceso con parámetros diferentes y concatena los resultados. Una cabeza no tiene por qué corresponder a una categoría lingüística estable. Algunas pueden mostrar patrones interpretables en ejemplos; eso no prueba que hayan aprendido una regla universal ni que el modelo razone mediante una lista de módulos humanos.

La máscara decide qué información está permitida

Una máscara causal impide que la posición usada para predecir el siguiente token consulte posiciones futuras. Durante el entrenamiento se pueden procesar muchos lugares de una secuencia en paralelo, pero cada predicción conserva esa restricción. Durante la generación, los tokens sí aparecen uno a uno porque la siguiente entrada depende de lo que acaba de producirse.

Un codificador bidireccional puede permitir que una posición atienda a ambos lados. BERT oculta parte de los tokens y entrena al modelo para recuperarlos usando contexto izquierdo y derecho. La diferencia con un modelo causal no es que uno «entienda» y el otro «escriba»: son patrones de visibilidad y objetivos de pérdida distintos.

La máscara también puede bloquear padding o separar segmentos. Cuando un sistema usa atención local, ventanas deslizantes o memoria comprimida, la frase «todo el contexto está disponible» puede ser falsa incluso si la entrada cabe nominalmente. Hay que preguntar qué posiciones se conectan de verdad.

Una capa también transforma cada posición

La salida de atención pasa por conexiones residuales, normalización y una red feed-forward aplicada a cada posición. Las conexiones residuales conservan una ruta para la representación previa mientras se añaden transformaciones. La normalización controla escalas internas. La red feed-forward amplía y vuelve a proyectar el vector mediante operaciones no lineales.

Apilar capas repite comunicación entre posiciones y transformación local. «Profundidad» significa más etapas parametrizadas, no una garantía de comprensión. El modelo puede construir representaciones útiles y, a la vez, explotar correlaciones espurias o fallar cuando la entrada cambia de dominio.

De la representación a los logits

Al final, una proyección produce un número por token del vocabulario. Esos números son logits: puntuaciones sin normalizar. Softmax los convierte en una distribución cuya suma es uno. El token con mayor probabilidad es solo una opción de salida. El sistema puede muestrear, limitar candidatos, ajustar temperatura o aplicar penalizaciones.

La temperatura modifica la forma de la distribución antes del muestreo. Una temperatura baja concentra masa y hace la salida más estable; una alta la dispersa. Top-k conserva un número fijo de candidatos; top-p conserva el conjunto mínimo que acumula una masa elegida. Estas reglas no corrigen hechos ni añaden conocimiento: cambian cómo se selecciona desde las probabilidades del modelo.

Una respuesta conversacional añade más capas externas: plantilla de mensajes, instrucciones, recuperación de documentos, herramientas, filtros y quizá otro modelo que revise. Atribuir todo el comportamiento al «modelo de lenguaje» oculta el sistema que realmente produjo la respuesta.

Cómo aprende sin etiquetas humanas para cada token

En el preentrenamiento causal, el propio texto proporciona objetivos: dado un prefijo, el siguiente token observado actúa como etiqueta. En el enmascarado, se oculta una parte y el original es el objetivo. Suele llamarse aprendizaje autosupervisado porque la señal se construye a partir de los datos, no aprendizaje supervisado convencional con una persona etiquetando manualmente cada caso.

La pérdida compara la distribución predicha con el token objetivo. Backpropagation calcula gradientes y el optimizador ajusta parámetros. El proceso no almacena una copia explícita de cada regla; comprime regularidades útiles para reducir la pérdida bajo un presupuesto de datos y cómputo.

El primer GPT mostró un esquema de preentrenamiento generativo seguido de ajuste a tareas. T5 estudió un marco que expresa tareas de lenguaje como texto-a-texto y compara objetivos, datos y formas de transferencia. Estos trabajos no convierten todos los problemas en el mismo problema: muestran que una representación preentrenada puede adaptarse si se especifican entrada, salida, datos y evaluación.

Evaluar: separar predicción, tarea y producto

La pérdida o perplejidad sobre texto no visto mide el objetivo de lenguaje bajo una tokenización. Un benchmark de pregunta-respuesta mide otra conducta bajo un formato. Una prueba de producto mide si una persona completa mejor una tarea con coste y riesgo aceptables. Ningún nivel sustituye al siguiente.

Conviene registrar además longitud, idioma, dominio, fecha de los datos y método de decodificación. Un resultado agregado puede esconder que el sistema pierde precisión en documentos largos, cambia de criterio con una plantilla o rinde peor en una variedad lingüística concreta.

La traza mínima de una afirmación

1. Tokenización: ¿cómo se divide la entrada y qué coste tiene?
2. Representación: ¿qué embeddings y señal posicional se usan?
3. Conectividad: ¿qué posiciones permite ver la máscara?
4. Cálculo: ¿cómo se combinan atención, residuales y feed-forward?
5. Salida: ¿qué logits se transforman y cómo se decodifican?
6. Objetivo: ¿causal, enmascarado, condicionado o ajustado con otra señal?
7. Evaluación: ¿qué parte mide el modelo base y cuál el sistema completo?

La capacidad transferible es reconstruir esa traza antes de aceptar palabras como «comprensión» o «razonamiento». Un modelo moderno no recibe palabras ni devuelve certezas: recibe tokens, transforma vectores y distribuye probabilidad. Lo útil surge cuando ese mecanismo se integra en un sistema y supera una prueba correspondiente al uso real.