Selección de Características

La selección de características (feature selection) consiste en elegir un subconjunto de las variables originales de un conjunto de datos y descartar el resto. A diferencia de otras técnicas, las variables que sobreviven no se transforman: siguen siendo las mismas magnitudes medibles y, por tanto, interpretables. Como sistematizaron Guyon y Elisseeff en su introducción de referencia (JMLR, 2003), su objetivo es triple: mejorar el rendimiento del predictor, abaratar y acelerar el modelo, y comprender mejor el proceso que genera los datos.

Selección frente a extracción y reducción de dimensionalidad

Conviene no confundir tres términos. La reducción de dimensionalidad es el objetivo general: trabajar con menos variables. Dentro de ella caben dos caminos opuestos. La selección elige un subconjunto de las variables originales sin alterarlas: «radio máximo» sigue siendo radio máximo. La extracción de características, en cambio, crea variables nuevas combinando las originales; el análisis de componentes principales (PCA) o un autoencoder producen ejes como «CP1», que son mezclas ponderadas de todas las variables de entrada. La diferencia práctica es la interpretabilidad: la selección la conserva; la extracción la sacrifica a cambio de compresión. Ambas reducen dimensiones, pero solo la selección deja un modelo cuyas entradas mantienen un significado físico directo.

Tipos: filtros, envolventes y embebidos

Guyon y Elisseeff distinguen tres familias. Los filtros puntúan cada variable con un criterio estadístico —correlación de Pearson, chi-cuadrado, información mutua— de forma independiente del modelo; son rápidos, pero pueden ignorar interacciones no lineales. Los envolventes (wrappers) usan el propio modelo como caja negra para evaluar subconjuntos por su capacidad predictiva; se ajustan mejor al modelo final, pero son costosos y propensos al sobreajuste. Los métodos embebidos seleccionan durante el entrenamiento: Lasso, que anula coeficientes mediante penalización L1, o las importancias que emergen de los árboles de decisión. Conviene desconfiar de las etiquetas de «importancia»: los mismos autores advierten que la variable más relevante no siempre es la más útil, y que entre variables correlacionadas la importancia se reparte de forma inestable.

La trampa de la fuga de datos y cómo validar

El error más caro de la selección es la fuga de datos (data leakage). Si se puntúan y eligen las variables usando todo el conjunto —datos de test incluidos— antes de separar entrenamiento y evaluación, el modelo ya ha «visto» la respuesta y el rendimiento se infla de forma espuria. Ambroise y McLachlan lo demostraron en datos de microarrays (PNAS, 2002): la validación cruzada debe ser externa a la selección, no interna. La regla es seleccionar solo con el conjunto de entrenamiento y repetir la selección dentro de cada pliegue de una validación cruzada anidada, de modo que ninguna decisión toque los datos de evaluación. La documentación de scikit-learn ilustra el sesgo con un caso extremo: sobre datos aleatorios, seleccionar antes de partir arroja un 76 % de acierto aparente; hacerlo correctamente devuelve el 50 % real. Encapsular la selección en un pipeline que se ajusta solo con el train es la salvaguarda estándar. Qué método rinde mejor en cada caso sigue siendo empírico: no hay un ganador universal ni una única forma correcta de medir la importancia.