Teoría de la Información

La teoría de la información es el marco matemático que cuantifica la información: mide cuánta incertidumbre encierra una fuente de mensajes y hasta qué punto esos mensajes pueden comprimirse o transmitirse sin errores. Nació prácticamente de un único trabajo, «A Mathematical Theory of Communication», que Claude Shannon publicó en el Bell System Technical Journal en 1948. Allí Shannon introdujo el bit como unidad de información y demostró que comunicar es, en el fondo, un problema estadístico con límites exactos.

Su idea central es contraintuitiva: la información de un suceso no depende de su contenido, sino de su probabilidad. Un suceso seguro no informa de nada; uno raro informa mucho. Cuanto más improbable es lo que ocurre, más «sorpresa» —más bits— aporta observarlo.

La entropía: medir la incertidumbre

La entropía es la información media que produce una fuente, medida en bits. Formaliza la intuición anterior: pondera la sorpresa de cada suceso posible —el logaritmo negativo de su probabilidad— por la frecuencia con que ocurre. Una fuente predecible, como una moneda trucada que casi siempre sale cara, tiene entropía baja; una moneda justa alcanza el máximo, un bit por lanzamiento, porque cada resultado es igual de imprevisible. La entropía fija así el límite teórico de compresión: ningún código puede representar los mensajes de una fuente con menos bits, en promedio, que su entropía.

Información mutua y divergencia de Kullback-Leibler

Dos herramientas amplían el marco. La información mutua mide cuánto revela una variable sobre otra: cuánta incertidumbre sobre una se disipa al observar la otra. Es cero cuando ambas son independientes y crece con su dependencia, sin exigir que la relación sea lineal. La divergencia de Kullback-Leibler, o entropía relativa, mide en cambio la «distancia» entre dos distribuciones de probabilidad: cuántos bits se desperdician al codificar datos que siguen una distribución real usando un modelo equivocado. Es dirigida —no simétrica— y nunca negativa, y por eso funciona como medida del desajuste entre lo que un modelo predice y lo que ocurre de verdad.

Capacidad de canal y los teoremas de Shannon

Shannon separó el problema de comunicar en dos mitades. El teorema de codificación de fuente responde a cuánto se puede comprimir: el límite es la entropía. El teorema de codificación de canal responde a cuánto se puede transmitir por un canal con ruido: existe un número, la capacidad de canal, por debajo del cual la comunicación fiable es posible con una probabilidad de error tan pequeña como se quiera, y por encima del cual es imposible. Fue un resultado sorprendente: el ruido no obliga a aceptar errores, solo pone un tope a la velocidad. La versión para canales con ancho de banda limitado y ruido gaussiano es la fórmula de Shannon-Hartley, que relaciona capacidad, ancho de banda y relación señal-ruido.

La teoría de la información en el machine learning

Estas ideas son hoy rutina en el aprendizaje automático. La entropía cruzada es la función de pérdida estándar en clasificación: minimizarla equivale a acercar la distribución predicha por el modelo a la real, es decir, a reducir la divergencia KL entre ambas. Esa misma divergencia regulariza los autoencoders variacionales, donde empuja el espacio latente aprendido hacia una distribución simple, y guía la destilación de modelos, en la que un modelo pequeño imita las salidas probabilísticas de otro mayor. La información mutua, por su parte, sirve para seleccionar las variables más informativas y para aprender representaciones útiles sin etiquetas. Lo que Shannon concibió para el teléfono se ha vuelto el lenguaje con el que medimos qué aprende una máquina. Documentación: artículo original de Shannon; artículo original de VAE.