Aprendizaje de Ensamble

El aprendizaje de ensamble (ensemble learning) es la técnica de combinar las predicciones de varios modelos —los «aprendices base»— para buscar un resultado más preciso o robusto que el de un solo predictor. La mejora no es automática: depende de los modelos, de sus errores y de la regla usada para combinarlos.

Por qué funciona

La diversidad puede ayudar, pero no basta por sí sola. Krogh y Vedelsby mostraron en 1994, para conjuntos de redes que predicen valores continuos, que el error del promedio equivale al error medio de sus miembros menos un término de «ambigüedad» que mide cuánto discrepan. Por tanto, modelos con errores distintos pueden mejorar el conjunto; el beneficio depende de la calidad de cada componente y de cómo se combinen, no de una garantía de superar a cualquier modelo único.

Los tres métodos

Hay tres estrategias principales. El bagging (Leo Breiman, 1996) entrena los modelos en paralelo sobre muestras aleatorias de los datos y promedia sus salidas; reduce la varianza, y su ejemplo más famoso es el Random Forest. AdaBoost, presentado por Freund y Schapire, construye una secuencia que da relativamente más peso en la ronda siguiente a los ejemplos que el clasificador actual falla; XGBoost, descrito por Chen y Guestrin en 2016, es un sistema escalable de tree boosting. El stacking de Wolpert usa las predicciones de los generalizadores base como entrada de otro generalizador que aprende a combinarlas.

Cómo se combinan

La combinación más simple es la votación: en clasificación, la clase más votada entre los modelos; en regresión, el promedio de sus predicciones. El boosting suele usar una versión ponderada, dando más peso a los modelos más certeros.

Ventajas y límites

Entre sus ventajas potenciales están una mayor precisión, robustez y capacidad de generalización, siempre que los modelos y la regla de combinación sean adecuados. Pero también hay costes. La interpretabilidad se resiente —es difícil explicar una predicción que es el promedio de muchos modelos—, aumenta el coste computacional de entrenar y mantener el conjunto, y la implementación, sobre todo del stacking, se vuelve más compleja.