Ensamble de Modelos

Un ensamble de modelos combina las predicciones de varios modelos para buscar una respuesta más robusta o precisa que la de un componente aislado. La mejora no está garantizada: depende de que los errores sean suficientemente distintos y de cómo se agreguen.

La razón por la que funciona es estadística y precisa. Si los modelos individuales son razonablemente buenos y, sobre todo, sus errores son diversos —poco correlacionados entre sí—, al combinarlos esos errores tienden a cancelarse mientras la señal compartida se refuerza. Reunir copias de un mismo modelo que fallan siempre en lo mismo no aporta nada: la diversidad es el ingrediente esencial. En el lenguaje del compromiso sesgo-varianza, un ensamble bien construido rebaja el error sin necesidad de un modelo base más complejo.

Bagging: promediar en paralelo

El bagging (de bootstrap aggregating, formalizado por Leo Breiman en 1996) entrena muchos modelos en paralelo, cada uno sobre un remuestreo con reemplazo del conjunto de datos, y promedia o vota sus salidas. Su efecto principal es reducir la varianza: estabiliza métodos que, entrenados sobre datos ligeramente distintos, darían respuestas muy dispares. El Random Forest (también de Breiman, 2001) es su caso emblemático —cientos de árboles de decisión, cada uno sobre una muestra distinta y un subconjunto aleatorio de variables—; se desarrolla en la entrada Árboles de Decisión.

Boosting: corregir en secuencia

El boosting invierte la receta: entrena los modelos en secuencia y cada uno se concentra en los errores que dejó el anterior. AdaBoost, de Yoav Freund y Robert Schapire, fue el primero en popularizarlo; el gradient boosting de Jerome Friedman lo generalizó ajustando cada nuevo modelo al gradiente del error. Su efecto principal es reducir el sesgo. De esta familia descienden XGBoost, LightGBM y CatBoost, que hoy dominan los problemas con datos tabulares y tienen su propia entrada, Boosting.

Stacking, votación y límites

Más allá de estas dos familias, el stacking entrena un meta-modelo que aprende a combinar las salidas de varios modelos base heterogéneos, mientras que la votación o el promedio simple los agregan por mayoría o media. Ninguna técnica es gratis: un ensamble multiplica el coste de cómputo y de inferencia —se entrenan y ejecutan muchos modelos en lugar de uno— y sacrifica interpretabilidad, porque la decisión ya no vive en un modelo legible. La regla sensata es clara: recurrir al ensamble cuando la mejora de precisión justifica ese coste, no por defecto.