LDA (Latent Dirichlet Allocation)

LDA (Latent Dirichlet Allocation, «asignación latente de Dirichlet») es un modelo probabilístico generativo para descubrir los temas que atraviesan una colección de documentos. Lo propusieron David Blei, Andrew Ng y Michael Jordan en 2003 en el Journal of Machine Learning Research y durante más de una década fue la técnica de referencia del modelado de temas. Su intuición cabe en una frase: cada documento es una mezcla de temas y cada tema, una distribución de probabilidad sobre palabras. Un artículo de prensa puede ser 70 % política y 30 % economía, y el tema «economía» asigna probabilidades altas a palabras como inflación, empleo o mercado.

Conviene deshacer una ambigüedad: en estadística y aprendizaje automático, LDA también designa el análisis discriminante lineal (linear discriminant analysis), un clasificador supervisado clásico que separa clases con fronteras lineales y que no guarda relación con el modelado de temas.

Cómo funciona

LDA es un modelo bayesiano jerárquico de tres niveles que imagina un proceso generativo: para «escribir» un documento se sortea primero su mezcla de temas y, palabra a palabra, se elige un tema de esa mezcla y luego una palabra de ese tema, con distribuciones de Dirichlet como priores. El algoritmo invierte el proceso: a partir de las palabras observadas, infiere qué temas explican mejor el corpus. Blei y sus coautores propusieron inferencia variacional con un algoritmo EM; en 2004, Thomas Griffiths y Mark Steyvers popularizaron en PNAS el muestreo de Gibbs, con el que extrajeron 300 temas de 28.154 resúmenes científicos. El resultado es doble: una lista de temas descritos por sus palabras más probables y la proporción de cada tema en cada documento. Eso lo hizo idóneo para explorar grandes corpus sin leerlos, de archivos históricos a hemerotecas; una lección de Programming Historian enseña a aplicarlo en humanidades digitales con la herramienta MALLET.

Límites documentados

El número de temas hay que fijarlo de antemano y no existe un valor «correcto» evidente. El modelo trata cada texto como una bolsa de palabras: ignora el orden y la semántica, así que no sabe que «coche» y «automóvil» significan casi lo mismo. Y los temas no siempre son legibles: el estudio «Reading Tea Leaves» (Chang y otros, NIPS 2009) demostró con evaluadores humanos que los modelos con mejor verosimilitud estadística pueden producir temas menos interpretables. Además, al ser estocástica la inferencia, dos ejecuciones sobre el mismo corpus pueden arrojar temas distintos.

LDA frente a embeddings y modelos de lenguaje

El modelado de temas actual se apoya en representaciones vectoriales (embeddings) que sí capturan semántica. El ejemplo más citado es BERTopic (Maarten Grootendorst, 2022), que encadena embeddings de transformers, reducción de dimensionalidad con UMAP, agrupamiento con HDBSCAN y una variante de TF-IDF por clases para describir cada grupo: según su artículo, genera temas coherentes y se mantiene competitivo frente a los modelos clásicos en varios bancos de pruebas. Los grandes modelos de lenguaje se usan además para etiquetar y resumir los temas resultantes, un paso que la propia herramienta integra. LDA no ha desaparecido: sigue compensando en corpus muy grandes donde el coste computacional importa, cuando no hay GPU disponible o cuando se busca un modelo estadístico explícito, con supuestos declarados y resultados reproducibles con una semilla fija.