GloVe

GloVe (Global Vectors for Word Representation) es un método de word embeddings: convierte cada palabra en un vector de números reales que sitúa los términos de significado parecido en zonas próximas de un espacio geométrico. Lo presentaron en 2014 Jeffrey Pennington, Richard Socher y Christopher Manning, de la Universidad de Stanford, en el congreso EMNLP.

Su rasgo distintivo frente a otros modelos de la época es de dónde extrae la información: en lugar de aprender solo de las ventanas de contexto que rodean a cada palabra, GloVe parte de las estadísticas de co-ocurrencia de todo el corpus a la vez. Fuente primaria.

La matriz global de co-ocurrencias

El punto de partida es una tabla enorme: la matriz de co-ocurrencias palabra-palabra, que registra cuántas veces aparece cada término junto a cada otro en el corpus completo. Una sola pasada por el texto basta para rellenarla, y luego GloVe entrena solo sobre las casillas no vacías, lo que lo hace eficiente. Fuente primaria.

La intuición central de Pennington, Socher y Manning es que lo revelador no es la frecuencia absoluta, sino las razones entre probabilidades de co-ocurrencia. Al comparar cómo se reparten palabras como «hielo» y «vapor» frente a «sólido» o «gas», el ruido de los términos poco discriminativos se cancela y aflora el significado. A partir de ahí, el modelo aprende vectores cuyo producto escalar aproxima el logaritmo de la probabilidad de que dos palabras coincidan. El espacio resultante tiene una notable estructura lineal: las diferencias entre vectores capturan relaciones, y de ahí surge la célebre aritmética «rey − hombre + mujer ≈ reina». Fuente primaria. Fuente primaria. Fuente primaria.

GloVe frente a word2vec y fastText

GloVe suele contrastarse con word2vec. Este último es local y predictivo: aprende ajustando los vectores para predecir las palabras vecinas dentro de pequeñas ventanas de texto. GloVe es global y basado en conteo: factoriza directamente las cifras de co-ocurrencia acumuladas de todo el corpus. La diferencia es conceptualmente elegante, pero conviene ser honesto: en la práctica ambos producen vectores de calidad comparable, y la elección depende del corpus y de la tarea. fastText, por su parte, extiende la idea de word2vec descomponiendo cada palabra en fragmentos de subpalabra (n-gramas de caracteres), lo que le permite representar términos raros o inéditos y captar mejor la morfología. Fuente primaria.

De los embeddings estáticos a los contextuales

GloVe produce embeddings estáticos: un único vector por palabra, idéntico en cualquier frase. Por eso una palabra polisémica recibe la misma representación en todos sus contextos; ése es su límite principal.