Máxima Verosimilitud

La estimación por máxima verosimilitud (Maximum Likelihood Estimation, MLE) es el método más común para fijar los parámetros de un modelo estadístico. Su regla es simple: entre todos los valores posibles de los parámetros, elige los que hacen más probables los datos que de hecho has observado.

Para ello se define la verosimilitud: la probabilidad de los datos, pero leída como función de los parámetros en lugar de como función de los datos. Maximizarla equivale a preguntar «¿qué valores de los parámetros explican mejor lo que vi?». En su artículo de 1922, Ronald Fisher definió la verosimilitud y presentó el «método de máxima verosimilitud» como vía para escoger la estimación que maximiza esa función.

La idea y la log-verosimilitud

En la práctica casi nadie maximiza la verosimilitud directamente. Cuando las observaciones son independientes, la verosimilitud es un producto de muchas probabilidades, y multiplicar cientos de números menores que uno da cantidades tan diminutas que el ordenador las redondea a cero. La solución estándar es tomar logaritmos: la log-verosimilitud convierte ese producto en una suma, más estable numéricamente y más fácil de derivar. Como el logaritmo es creciente, el máximo cae en el mismo sitio. Por eso el objetivo que se optimiza de verdad suele escribirse como una suma de log-probabilidades, o su negativo cuando se prefiere minimizar.

Por qué está en todas partes

Aunque nació en la estadística clásica, entrenar buena parte de los modelos de machine learning es hacer máxima verosimilitud, aunque no se diga con esas palabras. Ajustar una gaussiana a unos datos por MLE devuelve exactamente la media y la varianza muestrales. La regresión logística estima sus coeficientes maximizando la verosimilitud de las etiquetas. Y minimizar la entropía cruzada al entrenar una red neuronal de clasificación es, término a término, lo mismo que maximizar la log-verosimilitud: la entropía cruzada y la log-verosimilitud negativa son la misma expresión. Ese es el puente que conecta un método de los años 1920 con el descenso de gradiente de hoy (ver Entropía cruzada).

Frente al enfoque bayesiano y el sobreajuste

La máxima verosimilitud solo mira los datos. El enfoque bayesiano añade una distribución previa sobre los parámetros —lo que se creía antes de verlos— y la combina con la verosimilitud mediante el teorema de Bayes (ver Teorema de Bayes). Su pariente cercano, la estimación máximo a posteriori (MAP), elige los parámetros que maximizan esa probabilidad a posteriori en lugar de la verosimilitud pura. Conviene no confundir verosimilitud y probabilidad a posteriori: la primera es la probabilidad de los datos dados los parámetros; la segunda, la de los parámetros dados los datos. La distinción importa porque con pocos datos la MLE puede sobreajustar, tomándose demasiado en serio el ruido de la muestra. Algunas regularizaciones, como la penalización L2 asociada a una previa gaussiana, forman un puente hacia MAP; no toda penalización equivale a una previa. Lo que la MLE no ofrece por sí sola es una distribución de incertidumbre: entrega un único valor «óptimo», no un rango de credibilidad, y su calidad depende de que el modelo elegido sea razonable.