Entropía: medir incertidumbre sin confundirla con desorden

En julio y octubre de 1948, Claude Shannon publicó las dos partes de A Mathematical Theory of Communication. El problema que planteó no era decidir qué significa un mensaje, sino cuantificar la elección entre mensajes posibles y los recursos necesarios para transmitirlos. En ese marco, la entropía mide la incertidumbre media de una distribución de probabilidades. No mide «desorden» en un sentido coloquial, ni calidad, inteligencia o verdad.

La distribución viene antes que la cifra

Para calcular entropía hay que definir primero una variable aleatoria y sus resultados posibles. Puede ser el símbolo que emitirá una fuente, la clase de un ejemplo o el resultado de una moneda. A cada resultado se le asigna una probabilidad. Sin esa lista y esas probabilidades, «la entropía del sistema» es una frase incompleta: no sabemos qué se observa, qué alternativas cuentan ni con qué frecuencia se esperan.

La misma situación física admite variables distintas. En un dado se puede medir el número de la cara, si el resultado es par o impar, o si supera cuatro. Cada elección agrupa los sucesos de otra manera y produce otra distribución. La entropía pertenece a esa representación declarada, no al objeto aislado. Cambiar las categorías cambia la pregunta incluso cuando los datos originales son los mismos.

Ésta es la primera defensa contra un uso engañoso: exigir el soporte completo. Si un análisis de incidencias solo conserva «grave» y «leve» pero omite «sin clasificar», la distribución se ha reducido antes del cálculo. La fórmula puede ejecutarse sin error y devolver muchos decimales, pero describirá las categorías retenidas, no todas las incidencias.

De la sorpresa de un resultado a la incertidumbre media

Un resultado muy probable aporta poca sorpresa; uno raro, mucha. La información asociada a un resultado de probabilidad p se expresa como menos el logaritmo de p. La entropía toma el promedio ponderado de esas sorpresas: multiplica la información de cada resultado por su probabilidad y suma. Por eso no basta contar cuántas opciones existen; también importa cómo se reparte la probabilidad entre ellas.

Una moneda equilibrada tiene dos resultados con probabilidad 0,5. Con logaritmo en base dos, su entropía es un bit. Si las probabilidades son 0,9 y 0,1, baja aproximadamente a 0,469 bits. La documentación de scipy.stats.entropy reproduce ambos cálculos. No significa que la segunda moneda genere «menos datos» en cada lanzamiento: significa que, en promedio, el resultado es más previsible bajo esa distribución.

La base del logaritmo fija la unidad. Base dos produce bits; base e, nats. Dos informes pueden partir de la misma distribución y publicar números diferentes porque usan bases distintas. Ninguno está necesariamente mal, pero no se pueden comparar sin convertir las unidades. Una cifra de entropía sin base declarada está tan incompleta como una longitud sin metros o pulgadas.

Cuándo la entropía es máxima o mínima

Si uno de los resultados tiene probabilidad uno y los demás cero, no hay incertidumbre sobre lo que ocurrirá y la entropía es cero. Para un número fijo de resultados, la entropía alcanza su máximo cuando todos son equiprobables. Con n opciones uniformes, el máximo es el logaritmo de n en la base elegida. Por eso una moneda equilibrada tiene más entropía que una muy sesgada.

Ese máximo siempre depende del número de categorías. Dos bits son el máximo para cuatro resultados equiprobables, pero no para un alfabeto de mil símbolos. Dividir una categoría en subcategorías puede elevar la entropía aunque el fenómeno no haya cambiado. Si se comparan modelos, épocas o poblaciones, el vocabulario de resultados debe permanecer fijo o la diferencia mezclará incertidumbre con una redefinición del espacio.

Alta entropía tampoco significa error, y baja entropía no significa acierto. Un clasificador que asigna 0,99 a una clase tiene una distribución de baja entropía; si la clase correcta era otra, está muy seguro y equivocado. La entropía de la predicción describe concentración. La exactitud exige observar el resultado real, y la calibración exige comparar muchas probabilidades anunciadas con sus frecuencias posteriores.

El estimador hereda los defectos de la muestra

En la práctica casi nunca se conocen las probabilidades verdaderas. Se estiman con frecuencias de una muestra o con las salidas de un modelo. Si la muestra es pequeña, una categoría rara puede no aparecer; si la recogida excluye ciertos casos, su probabilidad queda subestimada; si el modelo está mal calibrado, la distribución prevista no coincide con la frecuencia real. La entropía calculada hereda esos problemas porque opera sobre las probabilidades que recibe.

Conviene separar tres objetos. La entropía empírica resume la distribución observada en una muestra. La entropía de un modelo resume las probabilidades que el modelo asigna. La entropía de la población, normalmente desconocida, sería la del proceso que genera los casos. Que las dos primeras coincidan no demuestra por sí solo que representen la tercera: ambas pueden compartir el mismo sesgo de selección.

Una comprobación útil consiste en recalcular tras agrupar categorías raras, aplicar suavizado o añadir los casos omitidos que puedan justificarse. No se busca escoger la variante que favorezca una conclusión, sino saber cuánto depende la cifra de decisiones razonables sobre el soporte y el estimador. Si el orden entre dos sistemas cambia con una decisión menor de categorización, la diferencia no es robusta.

Cómo usa entropía un árbol de decisión

En clasificación, un nodo del árbol contiene ejemplos de varias clases. Sus frecuencias forman una distribución y su entropía mide cuán mezcladas están esas clases. Un nodo puro, donde todos los ejemplos pertenecen a la misma clase, tiene entropía cero. Una división candidata genera nodos hijos; el árbol compara la entropía del padre con la media ponderada de las entropías de los hijos.

La formulación de árboles de scikit-learn define precisamente la entropía de Shannon con las proporciones de clase que llegan al nodo y elige divisiones que reducen la impureza ponderada. La reducción se conoce como ganancia de información. No es una propiedad universal de una variable: depende del conjunto de entrenamiento, las clases, los pesos de las muestras y los umbrales candidatos en ese nodo.

Una partición puede obtener gran ganancia en pocos ejemplos y no generalizar. Por eso el árbol necesita límites como profundidad máxima o muestras mínimas por hoja y debe evaluarse con datos no usados para elegir las divisiones. La entropía ayuda a construir el árbol; no certifica que la estructura aprendida represente una regularidad estable fuera de la muestra.

Entropía, entropía cruzada y divergencia KL

Las tres cantidades comparten logaritmos, pero responden a preguntas distintas. La entropía H(p) describe la incertidumbre media cuando los resultados siguen la distribución p. La divergencia de Kullback-Leibler D(p‖q) mide el coste medio adicional de usar una distribución q cuando la verdadera es p. No es una distancia simétrica: intercambiar p y q cambia la pregunta y, en general, el valor.

La entropía cruzada entre p y q suma la entropía de p y la divergencia D(p‖q). La misma referencia de SciPy muestra las fórmulas y advierte además que su función normaliza las entradas si no suman uno. Esa comodidad de software no resuelve un problema conceptual: normalizar conteos puede ser correcto, pero normalizar puntuaciones negativas o categorías incompatibles no las convierte en probabilidades comparables.

En aprendizaje automático, minimizar entropía cruzada busca que el modelo asigne alta probabilidad a las clases observadas. El valor combina la incertidumbre propia de los datos con el desacuerdo del modelo. Por eso dos conjuntos con diferente mezcla de clases no permiten comparar directamente la pérdida como si toda diferencia perteneciera al modelo.

Condicionar reduce la pregunta, no garantiza una predicción útil

La entropía conjunta mide la incertidumbre de dos variables consideradas a la vez. La entropía condicional pregunta cuánta incertidumbre queda sobre una cuando se conoce la otra. Shannon mostró que la incertidumbre conjunta puede descomponerse como la de la primera variable más la que queda de la segunda al conocer la primera, y que disponer de información no aumenta la entropía condicional bajo la distribución verdadera.

Esta relación permite leer la información mutua como reducción de incertidumbre: cuánto disminuye, en promedio, la incertidumbre sobre una variable al observar la otra. Pero una reducción estadística no demuestra causalidad. Una variable puede informar sobre otra porque ambas comparten una causa o porque la muestra introduce una asociación. La entropía cuantifica dependencia probabilística; no identifica por sí sola el mecanismo que la produce.

La trampa de trasladar la intuición discreta a lo continuo

En variables continuas se usa entropía diferencial, definida sobre una densidad. Se parece a la fórmula discreta, pero cambia al cambiar las coordenadas o la unidad de medida y puede tomar valores negativos. El trabajo original lo declara expresamente. Por eso no debe interpretarse como un número absoluto de «desorden» ni compararse entre una variable medida en metros y la misma variable expresada en milímetros sin ajustar la transformación.

Esta diferencia también impide mezclar sin aviso una distribución de categorías con una densidad continua. En el caso discreto, refinar categorías altera el alfabeto; en el continuo, cambiar la escala altera la densidad. Antes de comparar hay que mantener el tipo de variable, la representación y la referencia. La fórmula no elimina esas decisiones: las incorpora.

Una prueba que cabe en una hoja

Para auditar una cifra de entropía, escriba cinco líneas: variable observada; lista de resultados posibles; probabilidades y cómo se estimaron; base del logaritmo; fórmula aplicada. Añada después una sensibilidad: qué ocurre si aparece una categoría ausente o si las probabilidades cambian dentro de su margen plausible. Con esa hoja se puede reconstruir la cifra y descubrir si dos informes estaban midiendo objetos distintos.

La capacidad transferible es concreta: ante cualquier «la entropía bajó», preguntar de qué distribución, sobre qué soporte, con qué unidad y estimada cómo. Solo después se interpreta la dirección del cambio. La entropía convierte probabilidades declaradas en incertidumbre media; no sustituye la tarea de declarar bien esas probabilidades.