XGBoost

XGBoost (eXtreme Gradient Boosting) es una biblioteca de código abierto que implementa el gradient boosting de árboles de decisión de forma especialmente eficiente y escalable. La presentaron Tianqi Chen y Carlos Guestrin en un artículo de la conferencia KDD de 2016, aunque el proyecto había arrancado un par de años antes. Es una de las herramientas más usadas del aprendizaje automático sobre datos tabulares.

Qué es el gradient boosting

El gradient boosting es una técnica de conjuntos que construye los árboles en secuencia: cada nuevo árbol se entrena para corregir los errores del conjunto de árboles anteriores, ajustándose al gradiente de la función de pérdida. La predicción final suma las de todos los árboles. A diferencia del bagging, que promedia modelos independientes para reducir la varianza, el boosting encadena modelos para reducir el sesgo.

Sus innovaciones

Lo que distingue a XGBoost es la ingeniería. Optimiza un objetivo regularizado, que añade a la función de pérdida una penalización por la complejidad del árbol para controlar el sobreajuste. Incorpora un manejo nativo de los valores ausentes, un algoritmo de búsqueda de cortes consciente de la dispersión de los datos, poda de árboles, paralelización y un uso eficiente de la memoria que le permite trabajar con conjuntos que no caben en RAM.

Por qué se hizo famoso

XGBoost se ganó su fama en las competiciones de Kaggle. Sus propios autores documentaron que, de las 29 soluciones ganadoras publicadas en 2015, 17 usaron XGBoost. Se convirtió así en la primera opción para problemas de datos estructurados, donde a menudo bate a modelos más sofisticados.

Su lugar en 2026

XGBoost comparte familia con otras dos bibliotecas de gradient boosting, pero sus papeles originales documentan decisiones distintas. El artículo de XGBoost enfatiza regularización, dispersión y escalabilidad; LightGBM introduce muestreo unilateral por gradiente y agrupación de variables para acelerar conjuntos grandes; CatBoost aborda variables categóricas y sesgos del boosting. Los tres son herramientas para datos tabulares; esos papers no prueban una clasificación universal en 2026. La elección depende del tipo de variables, los ausentes, el tamaño y el presupuesto de cómputo.