Método de Máxima Entropía
El método de máxima entropía es un principio de inferencia que, entre todas las distribuciones de probabilidad compatibles con lo que sabemos, elige la de mayor entropía: la más «honesta», la que no asume nada de más. Explicamos el principio de Jaynes, su intuición, su versión en aprendizaje automático —el clasificador de máxima entropía— y sus aplicaciones.
El principio de máxima entropía establece que, entre todas las distribuciones de probabilidad compatibles con la información de que disponemos (las «restricciones»), se debe elegir la que tenga la mayor entropía. Dicho de otro modo: la distribución más «extendida» o menos comprometida que aún respeta los datos conocidos. Es un principio de modestia: no asumir más información de la que realmente se tiene.
La idea de Jaynes
Lo formuló el físico Edwin T. Jaynes en 1957, en un trabajo que tendió un puente entre la mecánica estadística y la teoría de la información de Shannon. Jaynes mostró que la entropía de la termodinámica y la de la teoría de la información obedecen a la misma lógica de inferencia.
Por qué es la distribución más honesta
La intuición es poderosa. Si solo conoces algunas propiedades de un fenómeno —una media, unas frecuencias—, hay infinitas distribuciones que las cumplen. Elegir cualquiera menos la de máxima entropía equivale a colar suposiciones injustificadas, a inventar estructura que los datos no respaldan. La de máxima entropía es la única que se ciñe estrictamente a lo conocido y permanece máximamente agnóstica sobre el resto.
En el aprendizaje automático
El principio tiene una encarnación muy concreta en la IA: el clasificador de máxima entropía (MaxEnt), que resulta ser equivalente a la regresión logística multinomial —la regresión softmax—. Fue una herramienta muy popular en el procesamiento del lenguaje natural antes del auge del aprendizaje profundo: se usó para clasificar texto, etiquetar categorías gramaticales y extraer información, valorado porque, a diferencia de otros métodos, no exige suponer que las características son independientes.
Dónde más aparece
La máxima entropía se relaciona con la entropía de Shannon, con los modelos log-lineales y con los campos aleatorios de Markov. Y trasciende la IA: es un método de referencia en la física estadística y, curiosamente, en la ecología, donde un programa llamado Maxent es un estándar para modelar la distribución geográfica de las especies.
Este artículo se ha elaborado con inteligencia artificial bajo supervisión editorial humana.
