GloVe

GloVe (Global Vectors for Word Representation) es un método de word embeddings: convierte cada palabra en un vector de números reales que sitúa los términos de significado parecido en zonas próximas de un espacio geométrico. Lo presentaron en 2014 Jeffrey Pennington, Richard Socher y Christopher Manning, de la Universidad de Stanford, en el congreso EMNLP.

Su rasgo distintivo frente a otros modelos de la época es de dónde extrae la información: en lugar de aprender solo de las ventanas de contexto que rodean a cada palabra, GloVe parte de las estadísticas de co-ocurrencia de todo el corpus a la vez.

La matriz global de co-ocurrencias

El punto de partida es una tabla enorme: la matriz de co-ocurrencias palabra-palabra, que registra cuántas veces aparece cada término junto a cada otro en el corpus completo. Una sola pasada por el texto basta para rellenarla, y luego GloVe entrena solo sobre las casillas no vacías, lo que lo hace eficiente.

La intuición central de Pennington, Socher y Manning es que lo revelador no es la frecuencia absoluta, sino las razones entre probabilidades de co-ocurrencia. Al comparar cómo se reparten palabras como «hielo» y «vapor» frente a «sólido» o «gas», el ruido de los términos poco discriminativos se cancela y aflora el significado. A partir de ahí, el modelo aprende vectores cuyo producto escalar aproxima el logaritmo de la probabilidad de que dos palabras coincidan. El espacio resultante tiene una notable estructura lineal: las diferencias entre vectores capturan relaciones, y de ahí surge la célebre aritmética «rey − hombre + mujer ≈ reina».

GloVe frente a word2vec y fastText

GloVe suele contrastarse con word2vec. Este último es local y predictivo: aprende ajustando los vectores para predecir las palabras vecinas dentro de pequeñas ventanas de texto. GloVe es global y basado en conteo: factoriza directamente las cifras de co-ocurrencia acumuladas de todo el corpus. La diferencia es conceptualmente elegante, pero conviene ser honesto: en la práctica ambos producen vectores de calidad comparable, y la elección depende del corpus y de la tarea. fastText, por su parte, extiende la idea de word2vec descomponiendo cada palabra en fragmentos de subpalabra (n-gramas de caracteres), lo que le permite representar términos raros o inéditos y captar mejor la morfología.

De los embeddings estáticos a los contextuales

GloVe produce embeddings estáticos: un único vector por palabra, idéntico en cualquier frase. Por eso «banco» recibe la misma representación tanto si es un asiento como una entidad financiera. Desde 2018, modelos como ELMo y BERT introdujeron embeddings contextuales, que recalculan el vector de cada palabra según la oración concreta, y los transformers acabaron superando a los estáticos en casi cualquier tarea de procesamiento del lenguaje. Aun así, GloVe conserva su valor: es un hito didáctico para entender qué es un embedding y sigue siendo una herramienta rápida y ligera cuando no hace falta la potencia de un transformer.