Ingeniería de Características

Ese puente entre el dato bruto y la variable útil abarca limpiar, transformar, combinar y seleccionar. Como resume IBM, el proceso exige análisis de los datos y conocimiento del dominio para convertir información cruda en variables útiles para el modelo.

La ingeniería de características (feature engineering) es el proceso de transformar los datos crudos en variables —las características o features— que un modelo de aprendizaje automático pueda aprovechar. Un registro de una venta, un píxel o una cadena de texto rara vez sirven tal cual: el trabajo consiste en destilar de ellos señales numéricas que capturen lo relevante para el problema y descarten el ruido.

Transformar, codificar, crear y seleccionar

El repertorio para transformar, codificar, crear y seleccionar características es amplio. En los modelos sensibles a la escala, las transformaciones ajustan las variables numéricas mediante normalización, estandarización o logaritmos para evitar que la magnitud distorsione el aprendizaje.

La codificación convierte categorías en números que el modelo entiende: one-hot para pocas clases, embeddings cuando son muchas. La creación de nuevas variables, guiada por el conocimiento del dominio, deriva señales que no estaban explícitas: una fecha se descompone en día de la semana o festivo, dos columnas se combinan en un ratio.

A ello se suman el manejo de valores faltantes (imputación) y, en el otro extremo, la selección y extracción de características, que reduce el conjunto a las variables más informativas —temas que este glosario trata en selección de características y reducción de dimensionalidad.

Entre sus técnicas habituales están la normalización, que lleva valores numéricos a una escala adecuada; la discretización, que los agrupa por intervalos; y la representación numérica de datos no numéricos.

Por qué manda en el aprendizaje automático clásico

En los modelos clásicos —árboles de decisión, máquinas de vectores soporte, regresión— la ingeniería de características suele ser el factor que más determina el rendimiento. Pedro Domingos lo enunció sin rodeos en «A Few Useful Things to Know about Machine Learning»: de todos los ingredientes de un proyecto, el más importante son las características empleadas. La intuición del oficio lo condensa así: los datos y las características marcan el techo del modelo; el algoritmo solo decide cuánto se acerca a él. Por eso es también la etapa más laboriosa y la que más tiempo consume. Documentación: artículo de Pedro Domingos.

El giro del aprendizaje profundo: representaciones automáticas

El aprendizaje profundo cambió el guion. En lugar de diseñar las variables a mano, las redes neuronales aprenden sus propias representaciones directamente de datos crudos como píxeles o texto; es lo que Bengio, Courville y Vincent llamaron aprendizaje de representaciones. Esto ha reducido la ingeniería manual en visión y lenguaje, donde las capas de la red descubren jerarquías de rasgos por sí solas. El matiz importa: no ha desaparecido. Con datos tabulares, los modelos basados en árboles bien alimentados siguen siendo difíciles de batir, y en producción las variables se versionan y comparten mediante feature stores. Lo que no está zanjado es hasta dónde llegará la automatización: dónde conviene la mano humana y dónde la máquina toma el relevo sigue siendo tema abierto. Documentación: artículo de aprendizaje de representaciones.