Validación Cruzada

La validación cruzada (cross-validation) es una técnica de remuestreo que estima cómo de bien generalizará un modelo a datos que no ha visto, aprovechando de forma eficiente los datos disponibles. En lugar de reservar un único bloque para prueba, reparte los datos varias veces y promedia los resultados, de modo que cada observación acaba sirviendo tanto para entrenar como para validar.

Su valor está en dar una estimación del error menos ruidosa y menos dependiente del azar del reparto que una sola división entrenamiento/prueba. La formulación moderna se atribuye a Stone (1974), y desde entonces es una herramienta central para medir la capacidad predictiva de un modelo sin caer en el autoengaño de evaluarlo con los mismos datos con los que se ajustó.

La validación de k pliegues y sus variantes

El método estrella es la validación cruzada de k pliegues (k-fold). Se parten los datos en k bloques de tamaño similar; se entrena con k−1 y se valida con el bloque restante, y el proceso se repite k veces rotando cuál queda fuera. Las k estimaciones se promedian. Valores habituales de k son 5 o 10: el estudio clásico de Kohavi (1995) recomendó, para conjuntos de datos reales, la variante de diez pliegues estratificada como buen compromiso entre sesgo y varianza.

Hay variantes útiles. En dejar uno fuera (leave-one-out, LOO) k iguala al número de observaciones: se valida ejemplo a ejemplo, lo que aprovecha al máximo los datos pero resulta costoso y de varianza alta. La estratificada mantiene en cada pliegue la misma proporción de clases que el conjunto completo, algo importante cuando hay clases minoritarias o datos desbalanceados.

Para qué sirve: selección de modelo e hiperparámetros

La validación cruzada es la base para comparar modelos, ajustar hiperparámetros y detectar el sobreajuste. Al ofrecer una estimación del rendimiento más estable, permite decidir entre algoritmos o configuraciones sin dejarse llevar por un reparto afortunado. En la práctica se combina con la búsqueda de hiperparámetros: para cada configuración se calcula el error por validación cruzada y se elige la mejor. Cuando además se quiere una estimación honesta del rendimiento final, se recurre a la validación cruzada anidada, que separa el ajuste de hiperparámetros de la evaluación para que una no contamine a la otra.

Errores a evitar: fuga de datos y series temporales

El fallo más común es la fuga de datos (data leakage): cualquier preprocesado —normalización, imputación, selección de variables— ajustado sobre todos los datos antes de partir contamina la validación, porque el pliegue de prueba deja de ser realmente no visto. La regla, subrayada en The Elements of Statistical Learning de Hastie, Tibshirani y Friedman y en la documentación de scikit-learn, es ajustar todo el preprocesado dentro de cada pliegue, idealmente encadenándolo en una tubería (pipeline).

El otro caso delicado son las series temporales: barajar las observaciones rompe el orden y permite «predecir el pasado con el futuro», invalidando la estimación. Aquí se usan esquemas que respetan el tiempo, entrenando siempre con el pasado y validando con el futuro; Bergmeir y Benítez (2012) analizaron esta cuestión en detalle. Los pormenores del tratamiento temporal se abordan en la ficha de series temporales.