Modelos de lenguaje estadísticos: fundamentos y aplicaciones

El 30 de julio de 2026, los modelos de lenguaje más visibles usan redes neuronales, pero la pregunta que los define sigue siendo estadística: ¿qué probabilidad asigna el modelo al siguiente elemento dado el contexto? Un modelo puede responder con tablas de conteos, una red recurrente o un Transformer. La arquitectura cambia; el objeto medido —una distribución condicionada sobre secuencias— permanece.

Esta pieza conserva el recorrido útil desde n-gramas hasta BERT y GPT, pero lo reorganiza alrededor de una capacidad: leer cualquier modelo de lenguaje mediante cinco decisiones —unidad, contexto, estimación, evaluación y uso—. Así se distingue un modelo que predice secuencias de un sistema completo que traduce, resume o conversa.

Una secuencia se descompone en predicciones

Un modelo de lenguaje asigna probabilidad a una secuencia de unidades. Esas unidades pueden ser caracteres, palabras o tokens producidos por un segmentador. Mediante la regla de la cadena, la probabilidad conjunta se descompone en el producto de probabilidades condicionadas: la primera unidad bajo un contexto inicial, la segunda dadas las anteriores y así sucesivamente. Para generar, el sistema estima la distribución del siguiente token, elige o muestrea uno, lo añade al contexto y repite.

Esta formulación no equivale a comprender el significado. En su trabajo de 1948, Claude Shannon separó expresamente los aspectos semánticos del problema ingenieril de seleccionar mensajes bajo una distribución. Un modelo puede capturar regularidades muy útiles de un corpus sin poseer una representación verificable de aquello a lo que se refieren sus frases.

La elección de unidad modifica el problema. Un vocabulario de palabras es legible, pero produce muchos elementos raros o desconocidos. Los caracteres eliminan ese vocabulario cerrado a costa de secuencias más largas. Los subwords buscan un compromiso. Por eso dos modelos entrenados sobre el mismo texto no son comparables si tokenizan de forma distinta sin normalizar su evaluación.

Los n-gramas convierten texto en conteos

Un n-grama aproxima la historia completa usando solo las últimas n − 1 unidades. Un bigrama estima una palabra a partir de una anterior; un trigrama, a partir de dos. La probabilidad puede obtenerse dividiendo el número de veces que aparece una continuación por el número de veces que aparece su contexto. El modelo es inspeccionable: se pueden consultar los conteos y saber qué fragmento sustentó una estimación.

Su límite aparece enseguida. El número de combinaciones crece con el vocabulario y la longitud del contexto. Muchas secuencias razonables no aparecen en el corpus. Si el modelo asigna probabilidad cero a una sola transición, asignará cero al producto de toda la frase. El problema no se resuelve acumulando conteos sin criterio: también hay dominios, épocas y variedades lingüísticas que la muestra no representa.

Suavizado: reservar probabilidad para lo no visto

Las técnicas de suavizado descuentan masa de eventos observados y la redistribuyen entre eventos raros o ausentes. El backoff usa un contexto más corto cuando el largo carece de evidencia; la interpolación combina órdenes. El trabajo original de Kneser y Ney mostró que la distribución de respaldo no debía ser simplemente la frecuencia general de una palabra: importaba en cuántos contextos distintos aparecía.

Este detalle enseña una regla más amplia. Cuando un producto afirma que «maneja entradas nunca vistas», conviene preguntar qué masa reserva para ellas y qué información usa al retroceder. En un n-grama la respuesta puede auditarse en conteos y fórmulas. En una red, la generalización se apoya en representaciones compartidas y parámetros aprendidos, pero la obligación de medir casos no vistos sigue intacta.

Perplejidad mide predicción, no utilidad completa

La entropía cruzada media penaliza la probabilidad que el modelo asigna a las unidades correctas de un conjunto de prueba. La perplejidad es una transformación exponencial de esa cantidad: menor suele significar que el modelo predice mejor ese corpus bajo esa tokenización. No debe compararse sin comprobar unidad, vocabulario, conjunto de prueba y tratamiento de palabras desconocidas.

Una perplejidad inferior tampoco garantiza un mejor chatbot, traductor o resumidor. Es una medición intrínseca del objetivo de lenguaje. Una aplicación añade búsqueda, instrucciones, decodificación, filtros y datos externos; después necesita métricas del uso y revisión humana pertinente. El modelo de lenguaje es un componente probabilístico, no la aplicación entera.

De conteos discretos a representaciones distribuidas

Los n-gramas tratan dos contextos diferentes como distintos aunque sean funcionalmente parecidos. En 2003, Bengio y sus coautores propusieron aprender a la vez representaciones distribuidas de palabras y la función de probabilidad de la secuencia. Contextos cercanos en ese espacio podían compartir evidencia. El artículo sitúa con precisión el puente: sigue siendo un modelo estadístico, pero la estimación ya no depende solo de una tabla de fragmentos exactos.

Las redes recurrentes incorporaron un estado que se actualiza al recorrer la secuencia. En teoría permite condensar una historia variable; en la práctica, el entrenamiento puede perder señales lejanas. LSTM introdujo puertas y una ruta de memoria para controlar qué conservar, escribir y leer. No «recuerda» como una persona: mantiene valores numéricos porque el objetivo de entrenamiento favoreció ese comportamiento.

Transformer cambia el acceso al contexto

El Transformer de Vaswani y sus coautores sustituyó la recurrencia de su sistema de traducción por atención y capas de avance. Cada posición calcula combinaciones de otras posiciones permitidas por la máscara. Esto facilita paralelizar el entrenamiento frente a una recurrencia estrictamente paso a paso. No significa que todas las palabras pesen igual ni que el contexto sea infinito: la atención asigna pesos, la arquitectura conserva límites y el coste crece con la longitud según el mecanismo empleado.

El avance importante para leer modelos posteriores es separar arquitectura y objetivo. Transformer describe operaciones y conexiones. El objetivo de preentrenamiento decide qué información resulta útil para reducir la pérdida.

BERT y GPT: misma familia, preguntas distintas

BERT usa un codificador Transformer y entrena representaciones bidireccionales condicionando sobre contexto izquierdo y derecho. Su tarea distintiva oculta tokens de entrada y trata de recuperarlos. Después, el trabajo original adapta el modelo con una capa de salida a tareas como inferencia o respuesta extractiva. No es correcto resumirlo como «comprende mejor»: se debe nombrar la tarea, el ajuste y el banco de pruebas.

El primer GPT de OpenAI combinó preentrenamiento generativo —predecir de izquierda a derecha— y ajuste discriminativo. En un modelo causal, la posición que se predice no puede consultar tokens futuros. Esa restricción coincide con la generación: producir el siguiente token a partir del prefijo disponible.

Por tanto, «BERT es para comprender y GPT para escribir» solo sirve como atajo inicial. Un codificador enmascarado produce representaciones que se adaptan a tareas; un modelo causal produce probabilidades de continuación y también puede transferirse. Lo verificable son máscara, objetivo, datos, procedimiento de adaptación y resultados, no una facultad humana atribuida al acrónimo.

Aplicaciones: el modelo puntúa, el sistema decide

En reconocimiento de voz, un modelo de lenguaje ayuda a puntuar secuencias candidatas junto a señales acústicas. En traducción, un decodificador distribuye probabilidad sobre salidas condicionadas a la entrada. En autocompletado ordena continuaciones. En un asistente, el resultado depende además del mensaje de sistema, recuperación de documentos, herramientas, algoritmo de decodificación y controles posteriores.

La misma separación revela los riesgos. Sesgo de corpus, información obsoleta y asociaciones espurias pueden alterar la distribución. Una continuación probable puede ser falsa. Un modelo con buena media puede fallar en una lengua o dominio infrarrepresentado. La respuesta no es afirmar que el modelo «entiende casi como un humano», sino definir el uso, construir un conjunto de evaluación representativo y mantener una vía de revisión y reparación.

La ficha para leer cualquier modelo de lenguaje

• Unidad: ¿carácter, palabra o token, y con qué segmentador?
• Contexto: ¿qué posiciones puede usar y cuál es el límite efectivo?
• Estimación: ¿conteos suavizados, estado recurrente, atención u otra parametrización?
• Objetivo: ¿siguiente token, token enmascarado, secuencia condicionada u otra pérdida?
• Evaluación: ¿perplejidad comparable y métricas de la tarea sobre datos no vistos?
• Sistema: ¿qué recuperación, decodificación, filtros o herramientas cambian la salida?

La capacidad transferible consiste en reducir cualquier afirmación sobre un modelo de lenguaje a esas seis decisiones. Los n-gramas hacen visible la lógica de probabilidad y escasez; las redes aprenden representaciones para compartir evidencia; BERT y GPT muestran cómo el objetivo cambia el uso de una misma familia arquitectónica. El acrónimo identifica el mecanismo. La evaluación delimita lo que realmente sabe hacer.