De palabras a vectores: cómo representa el lenguaje una red neuronal

A 30 de julio de 2026, casi todos los modelos de lenguaje de uso general reciben texto, pero ninguna red neuronal opera directamente con palabras. Opera con números. Entre la frase que escribe una persona y la siguiente palabra que predice el sistema hay una cadena: segmentación en tokens, consulta de vectores, combinación con posición y contexto, y transformación en probabilidades. Entender esa cadena permite saber qué significa realmente un embedding, por qué dos términos aparecen próximos y por qué proximidad no equivale a comprensión.

El problema: una palabra no es un número

Un programa puede asignar un identificador distinto a cada palabra, pero los identificadores son etiquetas, no cantidades: que «gato» sea 20 y «perro» 21 no los vuelve más parecidos que «gato» y «avión». Una representación one-hot evita ese falso orden usando un vector con un único uno y el resto ceros. Distingue cada elemento del vocabulario, pero todos quedan a la misma distancia y el vector crece con el diccionario.

Un embedding sustituye esa tabla dispersa por otra densa. Cada token apunta a una fila aprendida con, por ejemplo, cientos de coordenadas. Las coordenadas no reciben de antemano etiquetas como «animal» o «plural»: cambian durante el entrenamiento para que el modelo reduzca su error de predicción. El artículo de Bengio y sus colaboradores de 2003 formuló un modelo neuronal probabilístico que aprendía a la vez una representación distribuida de palabras y la probabilidad de secuencias.

Distribuido significa que el patrón importa

En una representación simbólica clásica, una categoría puede estar asociada a una casilla explícita. En una representación distribuida, la información se reparte entre muchas dimensiones y cada dimensión participa en numerosos conceptos. Dos vectores se consideran próximos según una medida geométrica, como el coseno de su ángulo, porque el entrenamiento los ha empujado hacia usos parecidos.

Los experimentos de word2vec mostraron que aprender a predecir una palabra desde su contexto —o el contexto desde la palabra— producía relaciones útiles con menos coste que modelos neuronales anteriores. GloVe partió de estadísticas globales de coocurrencia y buscó que las diferencias entre vectores reflejaran relaciones derivadas de esas cuentas. Son métodos distintos, pero ambos materializan una intuición: los contextos de uso contienen señal sobre semejanza.

Esa es la llamada hipótesis distribucional en forma operativa. No afirma que dos palabras con contextos parecidos sean idénticas ni que el modelo conozca sus referentes en el mundo. «Médico» y «enfermera» pueden aparecer cerca por tema; «subir» y «bajar», por compartir construcciones. La geometría registra regularidades del corpus y del objetivo, no un diccionario infalible.

Antes del vector está el token

Los sistemas modernos no siempre almacenan una fila por palabra completa. Dividen el texto en unidades frecuentes, caracteres o fragmentos. Esto limita el vocabulario y permite representar términos nuevos como combinaciones. El trabajo de subword units para traducción neuronal aplicó una variante de byte-pair encoding para afrontar palabras raras mediante segmentos.

La segmentación tiene consecuencias. Una palabra frecuente puede ocupar un token; una técnica, un apellido o una lengua poco representada puede requerir varios. Eso cambia longitud, coste y facilidad de aprendizaje. Antes de comparar dos modelos por su «ventana de 100.000 tokens», hay que comprobar su tokenizador: el mismo párrafo no necesariamente consume el mismo presupuesto.

Un vector fijo no basta para la polisemia

Con embeddings estáticos, «banco» recibe el mismo vector en «banco del parque» y «banco central». El contexto llega después, cuando la red procesa la secuencia, pero la fila inicial no cambia. Las redes recurrentes abordaron esa secuencia manteniendo un estado que se actualiza palabra a palabra. LSTM introdujo compuertas y una ruta de memoria para mitigar las dificultades de aprender dependencias largas, descritas en el paper original de 1997. Aun así, el cálculo temporal limita el paralelismo.

ELMo dio un paso importante hacia representaciones contextuales: generaba el vector de cada palabra como función de toda la frase mediante un modelo bidireccional. Así, las dos apariciones de «banco» podían divergir. La representación ya no era una entrada de diccionario, sino el estado producido para ese uso concreto.

Atención: cada posición reúne contexto

El Transformer original reemplazó la recurrencia de su núcleo por autoatención. Para cada posición construye consultas, claves y valores; la compatibilidad entre consulta y claves determina cuánto contribuye cada valor a la nueva representación. Varias cabezas aplican proyecciones diferentes, y capas sucesivas vuelven a transformar el resultado.

«Atender» no significa mirar conscientemente ni garantiza que cada cabeza corresponda a una regla lingüística humana. Es una operación diferenciable de mezcla condicionada por el contenido. Su ventaja práctica fue permitir más paralelismo y rutas cortas entre posiciones lejanas. Su coste crece con las relaciones consideradas, y una puntuación de atención por sí sola no es una explicación completa de la decisión del modelo.

El orden no aparece solo

La autoatención básica trataría una secuencia como un conjunto si no recibiera información de posición. Aquí conviene corregir una confusión habitual: el Transformer de 2017 añadió codificaciones posicionales sinusoidales o aprendidas a los embeddings de entrada; no introdujo como rasgo general posiciones relativas. Esas variantes llegaron en trabajos posteriores.

La distinción sirve para leer arquitecturas. Una codificación absoluta indica dónde está un token; una relativa representa distancias o relaciones entre posiciones; una rotatoria modifica consultas y claves para incorporar posición. Todas buscan que «el perro mordió al hombre» no se confunda con «el hombre mordió al perro», pero implican extrapolaciones y costes diferentes.

BERT hace visible el cambio contextual

BERT preentrenó un encoder Transformer ocultando tokens y aprendiendo a reconstruirlos desde contexto bilateral. La salida asociada a una palabra depende de las demás posiciones y de la capa observada. Después, el modelo podía ajustarse a tareas con una capa de salida adicional. Esto no significa que BERT posea una definición interna única de cada término: produce estados útiles para el objetivo con el que fue entrenado y para las tareas donde se evaluó.

Un modelo generativo autorregresivo usa otra máscara: al predecir el siguiente token, cada posición solo puede depender de lo anterior. Ambos pueden compartir operaciones de atención y embeddings, pero el objetivo y el acceso al contexto cambian qué representación conviene. «Transformer» nombra una familia de componentes; no especifica por sí solo la tarea.

Del estado contextual a una probabilidad

Tras muchas capas, el estado de la última posición se proyecta hacia una puntuación por token del vocabulario. Una función softmax normaliza esas puntuaciones y produce una distribución. Elegir siempre el máximo, muestrear o restringir candidatos modifica el texto generado, pero no cambia lo aprendido en los pesos.

Esta última etapa impide un error conceptual: el modelo no recupera una frase guardada ni consulta una definición secreta en cada paso. Calcula probabilidades condicionadas por tokens anteriores y parámetros aprendidos. Puede producir una continuación factual o una invención plausible porque ambas son secuencias posibles bajo esa distribución.

La geometría también hereda el corpus

Si los datos contienen asociaciones sociales, los vectores pueden reproducirlas. El estudio Semantics derived automatically from language corpora contain human-like biases midió asociaciones en embeddings y las relacionó con resultados conocidos en psicología. No basta borrar una dirección geométrica para resolver todos los daños: contexto, tarea, población y decisión de producto importan.

Por eso un gráfico de vecinos próximos es diagnóstico, no certificado de neutralidad. Debe compararse entre idiomas, dominios y grupos, y conectarse con el error de la aplicación real. Un embedding puede ser útil para recuperar documentos y peligroso como sustituto de una decisión sobre personas.

Cómo explicarlo sin una sola sigla

Toma una palabra ambigua en dos frases y sigue seis pasos: cómo se tokeniza; qué vector inicial recibe; cómo se añade posición; qué contexto mezcla cada capa; qué estado final llega a la salida; y qué distribución produce. Luego pregunta qué corpus y objetivo movieron esos números. Si puedes narrar ese recorrido, ya puedes distinguir un embedding estático de uno contextual y una arquitectura de su tarea.

La capacidad duradera es esta: cuando alguien diga que un modelo «entiende» una palabra, pide la representación concreta, el contexto que incorpora, la señal que la entrenó y la prueba que la valida. La red convierte lenguaje en geometría útil; decidir qué significa esa geometría sigue siendo un trabajo de evidencia.