Entropía

La entropía de Shannon mide la incertidumbre o el contenido de información promedio de una variable aleatoria: cuánta información se obtiene, en promedio, al conocer su valor. Para una variable con resultados de probabilidades p₁, …, pₙ, se calcula como la suma, con signo negativo, de cada probabilidad multiplicada por el logaritmo de esa probabilidad; si el logaritmo es en base 2, el resultado se expresa en bits. La formuló Claude Shannon en 1948, en el trabajo que fundó la teoría de la información.

Qué significa

La entropía indica el número mínimo de bits necesarios, en promedio, para codificar los resultados de una fuente. Es máxima cuando todos los resultados son igual de probables —la incertidumbre es total— y cero cuando el resultado es seguro: el lanzamiento de una moneda justa tiene una entropía de un bit, mientras que una moneda de dos caras iguales tiene entropía cero, porque no aporta información nueva.

Entropía y entropía cruzada no son lo mismo

Conviene una distinción clave para el aprendizaje automático: la entropía se define sobre una distribución —su incertidumbre interna—, mientras que la entropía cruzada se define entre dos distribuciones, la real y la que predice el modelo. La entropía cruzada es la función de pérdida más usada en clasificación: mide la discrepancia entre ambas y, al minimizarla, empuja al modelo a asignar más probabilidad a la clase correcta. Está emparentada con la divergencia de Kullback-Leibler, que cuantifica la información que se pierde al aproximar una distribución con otra.

Otros usos en aprendizaje automático

La entropía aparece en más lugares. La ganancia de información —la reducción de entropía al dividir un conjunto según un atributo— es el criterio que usan los árboles de decisión como ID3 o C4.5 para elegir sus divisiones. Y en el aprendizaje por refuerzo, añadir un término de entropía al objetivo fomenta la exploración y evita converger demasiado pronto a una política subóptima.