Word2Vec

Word2Vec es un método para aprender representaciones vectoriales de palabras, llamadas embeddings, a partir de grandes cantidades de texto. Lo presentó en 2013 un equipo de Google dirigido por Tomas Mikolov. Su idea es situar cada palabra en un espacio vectorial de modo que las palabras con significados o usos parecidos queden cerca, aprendiendo esas relaciones a partir de los contextos en que aparecen.

Cómo funciona

Word2Vec propone dos arquitecturas de red neuronal poco profunda. En CBOW el modelo predice una palabra a partir de las de su contexto; en Skip-gram hace lo contrario, predice el contexto a partir de la palabra. Un segundo artículo, ese mismo año, introdujo las técnicas de entrenamiento que hoy se dan por estándar, como el muestreo negativo. El resultado más citado es la aritmética de vectores: el vector de «rey» menos «hombre» más «mujer» cae cerca de «reina». Conviene un matiz honesto: ese efecto depende en parte del protocolo de evaluación, que excluye las palabras de partida al buscar el resultado; sin esa exclusión, el vecino más cercano suele ser «rey» mismo.

Dónde se sitúa históricamente

Word2Vec produce embeddings estáticos: un único vector por palabra, con independencia de la frase. Ese es su límite central: no maneja la polisemia, de modo que «banco» (asiento), «banco» (finanzas) y «banco» (de peces) comparten el mismo vector. Es un método de 2013 y no debe presentarse como la actualidad. En 2014 apareció GloVe, con un enfoque distinto basado en co-ocurrencias globales, y en 2016 fastText, que añade información de subpalabras y maneja palabras fuera de vocabulario. El cambio de fondo llegó en 2018 con los embeddings contextuales —ELMo y BERT—, que asignan un vector distinto a la misma palabra según su contexto, y después con los grandes modelos de lenguaje.

Para qué sirve todavía

Word2Vec ya no es el estado del arte, pero sigue siendo útil por su simplicidad y bajo coste: como punto de partida pedagógico, en escenarios con pocos recursos o sin GPU, y en estudios de sesgo o de cambio semántico, donde su transparencia palabra a palabra es una ventaja. Para cualquier tarea que dependa del contexto o de la ambigüedad, en cambio, lo superan los modelos contextuales.