Boosting

El boosting es una técnica de aprendizaje por conjuntos (ensemble) que combina muchos aprendices débiles —modelos apenas mejores que el azar— en un único predictor fuerte. Su rasgo distintivo es que los construye en secuencia: cada nuevo aprendiz se entrena para corregir los errores que cometieron los anteriores, de modo que el conjunto concentra su atención en los casos difíciles.

La idea nació de una pregunta teórica. A finales de los años ochenta, Michael Kearns y Leslie Valiant se preguntaron si un algoritmo que solo aprende «débilmente» —que acierta apenas por encima del azar— podía convertirse en uno «fuerte», de precisión arbitrariamente alta. En 1990, Robert Schapire demostró en «The Strength of Weak Learnability» que sí, y esa prueba constructiva fue el primer algoritmo de boosting.

Aprendices débiles, uno tras otro

El mecanismo es iterativo. Se entrena un modelo simple —a menudo un árbol de decisión poco profundo—, se identifican las instancias que clasifica mal y se les asigna más peso en la ronda siguiente. La salida final es una suma ponderada de todos esos modelos. Donde un solo árbol puede quedarse corto (alto sesgo), el boosting reduce ese sesgo apilando muchos aprendices, cada uno especializado en lo que los demás fallan.

De AdaBoost al gradient boosting

El primer algoritmo práctico fue AdaBoost, presentado por Yoav Freund y Robert Schapire en 1997. AdaBoost reajusta el peso de los ejemplos tras cada iteración y pondera cada aprendiz según su acierto. En 2001, Jerome Friedman lo generalizó con el gradient boosting: en vez de reponderar ejemplos, cada nuevo modelo se ajusta al gradiente negativo de una función de pérdida elegida, lo que convierte el boosting en un descenso de gradiente en el espacio de funciones. Esa formulación permite optimizar objetivos muy distintos —regresión, clasificación, ranking— con el mismo esquema.

Implementaciones modernas

El gradient boosting se difundió a través de bibliotecas muy eficientes. XGBoost, de Tianqi Chen y Carlos Guestrin (2016), añadió regularización, optimización de segundo orden y manejo nativo de los datos ausentes. LightGBM, de Microsoft (2017), aceleró el entrenamiento con crecimiento por hojas y muestreo basado en gradientes. CatBoost, de Yandex (2018), abordó de raíz las variables categóricas y mitigó un sesgo de predicción del método clásico. Las tres siguen empleando árboles de decisión como aprendices débiles.

Boosting frente a bagging

Conviene no confundir el boosting con el bagging, la familia de Random Forest. El bagging entrena muchos modelos en paralelo sobre muestras distintas y promedia sus votos para reducir la varianza; el boosting los encadena en serie para reducir el sesgo. Esa dependencia secuencial lo hace más potente, pero también más sensible al ruido y al sobreajuste si no se regulariza. En 2026, y pese al dominio del aprendizaje profundo en texto e imagen, el gradient boosting sigue siendo la herramienta de referencia para datos tabulares, donde a menudo supera a las redes neuronales. Qué método gana en cada problema concreto no está zanjado: depende del tamaño, el ruido y la estructura de los datos.