Cómo aprende una red profunda: del forward pass al gradiente

A 30 de julio de 2026, llamar «profunda» a una red solo indica que encadena varias transformaciones aprendidas. No significa que piense más hondo ni que simule el cerebro. Su aprendizaje puede seguirse en un ciclo concreto: calcular una salida, medir un error, repartir responsabilidad hacia atrás y actualizar parámetros. Si un lector puede narrar una vuelta de ese ciclo, puede distinguir arquitectura, objetivo, optimizador y regularización sin perderse en nombres.

El modelo es una función con parámetros

Una capa recibe números, multiplica por pesos, suma sesgos y aplica una función no lineal. Sin no linealidad, apilar capas lineales seguiría siendo una transformación lineal. ReLU conserva los valores positivos y convierte los negativos en cero; el trabajo de Deep Sparse Rectifier Neural Networks estudió las unidades rectificadas y su comportamiento de entrenamiento.

La «profundidad» permite componer representaciones. En una imagen, capas tempranas pueden responder a patrones locales y capas posteriores combinarlos; en texto, estados sucesivos integran contexto. No se asignan manualmente conceptos a cada unidad. Los parámetros cambian para mejorar un objetivo, y la interpretación de una activación requiere pruebas.

Primero: el forward pass

Imagina una red que recibe tres medidas de una pieza y debe estimar la probabilidad de defecto. Cada neurona calcula una suma ponderada; ReLU introduce no linealidad; la última capa produce una puntuación y una sigmoide la convierte en un número entre cero y uno. Recorrer entrada→capas→salida con pesos actuales es el forward pass.

Durante ese recorrido se conservan valores intermedios porque harán falta para calcular derivadas. El modo de entrenamiento puede incluir operaciones como dropout; el modo de evaluación debe desactivarlas o usar estadísticas apropiadas. Mezclar ambos modos cambia el resultado sin cambiar los pesos.

Segundo: una pérdida convierte el objetivo en número

La etiqueta por sí sola no dice cómo corregir el modelo. Una función de pérdida compara salida y referencia. En clasificación binaria, la entropía cruzada penaliza la probabilidad asignada a la clase incorrecta. En regresión, un error cuadrático pondera mucho desviaciones grandes. En ranking o generación se usan otros objetivos.

Elegir pérdida es elegir qué errores empujan más los parámetros. Si las clases están desequilibradas, puede ponderarse la rara o cambiar el muestreo. Pero optimizar una pérdida no garantiza la métrica del negocio: se valida aparte precisión, recall, calibración y coste por tipo de error.

Tercero: backpropagation aplica la regla de la cadena

La salida depende de la última capa, que depende de la anterior, hasta llegar a cada peso. La regla de la cadena expresa cómo cambia la pérdida ante un pequeño cambio en cada parámetro. Backpropagation reutiliza resultados desde la salida hacia la entrada para calcular esos gradientes de forma eficiente. El artículo clásico Learning representations by back-propagating errors explicó cómo ajustar capas internas mediante esta propagación.

El gradiente no contiene una explicación verbal ni busca el mínimo global de una vez. Es una dirección local. Puede hacerse muy pequeño al atravesar muchas operaciones saturadas o crecer de forma inestable. Inicialización, normalización, conexiones residuales y activaciones afectan a esa ruta.

Cuarto: el optimizador da un paso

El descenso de gradiente resta una fracción del gradiente a cada peso. Con minibatches, la dirección se estima sobre una muestra y contiene ruido. La tasa de aprendizaje controla la longitud del paso: demasiado alta puede divergir; demasiado baja puede consumir un presupuesto enorme.

Adam mantiene estimaciones de momentos del gradiente y adapta pasos por parámetro. Que converja rápido en entrenamiento no garantiza mejor generalización. Para comparar optimizadores hay que fijar presupuesto, ajustar sus hiperparámetros y mostrar curvas de entrenamiento y validación, no solo la mejor ejecución.

Batch, época y actualización no son sinónimos

Un batch es el conjunto usado para un gradiente. Una actualización aplica ese gradiente. Una época recorre aproximadamente una vez los ejemplos de entrenamiento. Con aumento de datos, muestreo o flujos, «una época» puede ser una convención. El registro debe incluir número de ejemplos, pasos, tamaño de batch y operaciones.

Un batch grande aprovecha hardware pero cambia el ruido de optimización y la memoria. Acumular gradientes simula uno mayor en varios pasos. La reproducibilidad exige semillas, orden, precisión numérica, versión de datos y checkpoints; dos entrenamientos nominalmente iguales pueden divergir.

Generalizar es rendir fuera del material usado para ajustar

Se separan entrenamiento, validación y prueba. Entrenamiento modifica pesos; validación elige hiperparámetros y momento de parada; prueba estima rendimiento al final. Consultar repetidamente la prueba la convierte de hecho en validación. También hay que agrupar ejemplos relacionados para evitar que casi duplicados crucen particiones.

El sobreajuste aparece cuando la pérdida de entrenamiento mejora y el rendimiento relevante fuera empeora. La brecha no se arregla solo con un modelo menor: puede revelar datos no representativos, etiquetas ruidosas o un objetivo equivocado. La prueba temporal y externa suele ser más exigente que una partición aleatoria.

Regularizar cambia datos, función o capacidad

Dropout apaga aleatoriamente unidades durante entrenamiento y aproxima la combinación de muchas subredes; en inferencia usa la red completa con el escalado correspondiente. El aumento de datos aplica transformaciones que deben preservar la etiqueta. La penalización de pesos desincentiva parámetros grandes. La parada temprana limita cuánto se ajusta.

Batch normalization, descrita en su paper de 2015, normaliza activaciones mediante estadísticas de minibatch durante entrenamiento y estadísticas acumuladas en inferencia. Puede tener efectos regularizadores, pero su función principal no es una vacuna universal contra el sobreajuste. Con batches pequeños o cambio de dominio requiere cuidado.

La arquitectura decide qué comparte y qué conecta

Una CNN comparte filtros por posiciones; una RNN reutiliza una transición en el tiempo; un Transformer mezcla posiciones mediante atención. Una ResNet añade conexiones residuales que facilitan optimizar redes profundas al aprender correcciones sobre una ruta identidad. Estas son hipótesis sobre la estructura de los datos, no niveles de inteligencia.

El Transformer mostró que atención y capas feed-forward podían sustituir recurrencia en traducción y entrenarse en paralelo. Para otra tarea hay que volver a preguntar entrada, salida, pérdida, datos y métrica. El nombre de la arquitectura no completa el experimento.

AutoML automatiza búsqueda, no juicio

AutoML puede seleccionar transformaciones, hiperparámetros o arquitecturas. auto-sklearn combinó optimización bayesiana, metaaprendizaje y ensamblados. El sistema busca dentro de un espacio definido y contra una métrica definida por personas.

Si el conjunto está filtrado o la métrica premia el atajo incorrecto, automatizar multiplica el problema. El presupuesto de búsqueda, las pruebas realizadas y el conjunto de validación forman parte del resultado. «El modelo se diseñó solo» borra las decisiones humanas que acotaron la búsqueda.

Federado significa datos distribuidos, no privacidad automática

En Federated Averaging, clientes entrenan localmente y un servidor agrega actualizaciones. Los datos crudos no tienen que centralizarse, lo que reduce una vía de exposición y permite usar información distribuida. Pero las actualizaciones pueden filtrar señales, clientes maliciosos pueden envenenar el modelo y la participación revela metadatos.

Deep Leakage from Gradients mostró reconstrucciones de datos a partir de gradientes en ciertos escenarios. Por eso la privacidad exige un modelo de amenaza y controles como agregación segura, privacidad diferencial, autenticación y límites de contribución. Además hay que evaluar disparidades entre dispositivos y usuarios: promediar no vuelve representativos los datos.

La auditoría de una vuelta de aprendizaje

Elige un batch y registra entrada, versión de pesos, activaciones, salida, pérdida, gradientes, paso del optimizador y nuevos pesos. Comprueba que la pérdida disminuye en un ejemplo diminuto que el modelo debería memorizar; después comprueba que generaliza en datos separados. Si no puede sobreajustar el ejemplo pequeño, suele haber un fallo de implementación. Si solo puede memorizar, hay un problema de datos, objetivo o generalización.

Esa vuelta es la unidad que ordena el campo. Dropout modifica el forward; backprop calcula responsabilidad; Adam cambia la actualización; ResNet modifica la ruta; AutoML repite el experimento; federado reparte dónde se calcula. Entender el ciclo evita atribuir pensamiento a una cadena de derivadas y permite preguntar, en cada avance, qué parte cambió y qué evidencia mejoró.