Preprocesar sin filtrar el futuro: la regla fit/transform

A 30 de julio de 2026, el error más peligroso del preprocesamiento no es elegir media en vez de mediana. Es permitir que la validación, el futuro o el objetivo influyan en una transformación antes de evaluar. El modelo obtiene entonces pistas que no existirán cuando se use y parece mejor de lo que es. La regla duradera cabe en una línea: divide primero; ajusta cada transformación solo con train; transforma después validación, prueba y producción sin volver a aprender.

Empieza por la unidad y el momento de predicción

Antes de limpiar, define qué representa una fila, cuándo se calcula la predicción y qué información estaba disponible entonces. Si el objetivo es predecir impago al conceder un crédito, una variable registrada tras el vencimiento pertenece al futuro. Si varias filas corresponden a la misma persona, repartirlas al azar puede colocarla en train y prueba.

La partición debe respetar el proceso: por tiempo cuando se predice el futuro, por paciente o usuario cuando hay medidas repetidas, por centro cuando se busca generalización geográfica. Solo después se inspecciona train para tomar decisiones. La prueba se reserva hasta que el pipeline esté fijado.

Fit aprende; transform aplica

Un estandarizador aprende media y desviación; un imputador aprende medianas o un modelo; un codificador aprende categorías; PCA aprende ejes. Fit estima esos parámetros. Transform aplica los parámetros ya fijados. Calcularlos sobre todo el conjunto filtra información de validación, aunque nunca se haya usado su etiqueta de forma explícita.

La guía de errores comunes de scikit-learn documenta tanto el preprocesamiento inconsistente como la fuga de datos. Su objeto Pipeline encadena transformaciones y estimador para que una validación cruzada ajuste cada paso dentro de cada pliegue de entrenamiento. La herramienta ayuda, pero la partición temporal o por grupos sigue siendo decisión del analista.

Escalado: qué estadística debe sobrevivir

La estandarización resta la media de train y divide por su desviación. Min-max usa mínimos y máximos de train para construir un rango. Las unidades dejan de dominar algoritmos sensibles a distancia o gradiente, pero árboles de decisión suelen necesitarlo menos. Un valor futuro puede quedar fuera de 0–1; recortarlo o aceptarlo es una política, no un fallo matemático.

Los outliers alteran media y extremos. Un escalador robusto basado en mediana y cuantiles puede ser más estable, pero primero hay que decidir si el valor es error, evento raro legítimo o cambio de régimen. La producción debe registrar cuántos valores caen fuera del rango aprendido: es señal de deriva.

Categorías: vocabulario y desconocidos

One-hot crea una columna por categoría aprendida en train. Producción necesita una política para categorías nuevas: error, columna «desconocida», hashing u otra representación. El orden de los identificadores nunca debe introducir una distancia falsa. Un embedding categórico aprende vectores, pero requiere suficientes ejemplos y no elimina el tratamiento de nuevos valores.

La codificación por objetivo es especialmente delicada: sustituye una categoría por estadísticas de la etiqueta. Si se calcula usando la propia fila o el conjunto completo, filtra el resultado. CatBoost propuso estadísticas ordenadas para reducir ese sesgo. En un pipeline general, las medias por categoría deben calcularse fuera de pliegue y siempre dentro de train.

Ausencia: el motivo puede ser información

Un valor puede faltar por una avería aleatoria, por una variable observada o por el propio valor no observado. Esas situaciones se suelen resumir como MCAR, MAR y MNAR, y conducen a supuestos distintos. Imputar la media no recupera mágicamente lo que falta; reduce variación y puede distorsionar relaciones. Añadir un indicador de ausencia permite que el modelo detecte el patrón, aunque también puede aprender un artefacto del proceso de recogida.

La implementación MICE encadena modelos condicionales y genera múltiples imputaciones para representar incertidumbre bajo supuestos explícitos. Para predicción, puede usarse una técnica más sencilla, pero debe ajustarse solo con train, compararse contra una referencia y evaluarse por subgrupo. Si una variable falta casi siempre, quizá la solución sea dejar de fingir que se observa.

Anomalía no significa basura

Un punto extremo puede ser error de sensor, fraude, paciente raro o precisamente el evento que interesa predecir. Eliminarlo porque «se aleja» borra señal. Primero se aplican reglas de validez de dominio: una edad negativa puede corregirse o excluirse; una compra enorme necesita investigación.

DBSCAN agrupa regiones densas y marca puntos que no pertenecen a ellas bajo una escala y parámetros determinados. Es útil para explorar estructura, no un juez universal de calidad. En dimensiones altas, las distancias cambian de comportamiento y el escalado modifica vecindades. Cualquier regla de anomalía se aprende en train y se prueba sobre casos conocidos.

PCA comprime para uso; t-SNE proyecta para mirar

PCA encuentra direcciones ortogonales de mayor varianza y permite transformar nuevos ejemplos con los ejes aprendidos. Puede reducir colinealidad o coste, pero máxima varianza no equivale a máxima señal para el objetivo. Hay que elegir componentes dentro de validación y conservar el escalado previo.

t-SNE fue diseñado para visualizar datos de alta dimensión preservando vecindarios probabilísticos locales en dos o tres dimensiones. Las distancias globales, tamaños de grupos y huecos del mapa no deben leerse como medidas fieles. El resultado cambia con perplexity, inicialización y semilla, y no ofrece de forma básica una transformación estable para producción. Un gráfico t-SNE es una vista exploratoria, no un paso general de compresión.

Seleccionar características también puede filtrar

Elegir columnas por correlación con el objetivo, importancia de un Random Forest o rendimiento de un modelo usa etiquetas. Si se hace antes de la validación cruzada, cada pliegue ya conoce qué características parecieron buenas en los demás. La selección debe vivir dentro del pipeline y repetirse en cada train.

Lo mismo ocurre con la búsqueda automática, autoencoders supervisados indirectamente o generación de variables. Se conserva el historial de candidatos para evitar probar hasta obtener una casualidad favorable. Una característica se evalúa por ganancia fuera de muestra, estabilidad, coste de cálculo y disponibilidad en el momento real.

Tren y producción deben ejecutar la misma transformación

Copiar lógica entre un notebook y un servicio crea training-serving skew: nombres, zonas horarias, valores por defecto o versiones divergen. El estudio de validación de datos para ML en producción muestra cómo esquemas y estadísticas ayudan a detectar anomalías y diferencias entre entornos.

Se versionan código, parámetros ajustados, orden de columnas y dependencias junto al modelo. El pipeline acepta datos crudos del mismo contrato que producción. Pruebas con registros conocidos verifican salida exacta; monitorización compara rangos, categorías nuevas, tasas de ausencia y distribución.

Preprocesar no «elimina» el sesgo

Equilibrar clases o reponderar grupos cambia una distribución, pero la justicia de una decisión depende de población, objetivo, etiquetas y coste. La limpieza puede empeorar disparidades si elimina como «anómalos» datos de un grupo menos representado. Se reportan decisiones y métricas desagregadas antes y después.

Datasheets for Datasets propone documentar motivación, composición, recogida, preprocesamiento, usos y mantenimiento. Esa procedencia vuelve auditables las transformaciones. «Datos limpios» no es un estado neutral: significa que alguien aplicó reglas con consecuencias.

Un pipeline mínimo reproducible

Define objetivo y corte; divide por tiempo, entidad o grupo; congela la prueba; en cada pliegue ajusta imputación, categorías, escalado, reducción y selección con train; aplica a validación; elige; reajusta el pipeline completo con train+validación si el protocolo lo permite; evalúa una vez en prueba; serializa transformación y modelo; monitoriza el contrato de entrada.

Para auditar, toma una estadística —por ejemplo, la media usada para escalar— y pregunta de qué filas salió. Si aparece una observación futura, una fila de prueba o información posterior al objetivo, existe fuga. La técnica concreta puede cambiar; la disciplina temporal no: primero separa lo que el sistema podía saber, luego permite que cada transformación aprenda.