ResNet
ResNet es la arquitectura de red neuronal que introdujo las conexiones residuales o «de salto», permitiendo entrenar redes mucho más profundas de lo que antes era posible. Explicamos el problema de la degradación que resolvió, cómo funciona su bloque residual, su origen ganador en 2015 y por qué su idea sigue presente hasta en los Transformers.
ResNet (de Residual Network, red residual) es una arquitectura de red neuronal convolucional que introdujo las conexiones residuales —también llamadas «de salto»—, la innovación que permitió entrenar redes muchísimo más profundas de lo que hasta entonces era viable. La presentaron Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun, de Microsoft Research, en 2015.
El problema: la degradación
Antes de ResNet había un obstáculo desconcertante: al apilar más y más capas, las redes muy profundas empeoraban, y no por sobreajuste, sino porque se volvían difíciles de optimizar. Es el llamado problema de la degradación: una red demasiado profunda llegaba a tener más error incluso sobre los propios datos de entrenamiento. Parecía un techo insalvable.
La idea: aprender el residuo
La solución fue elegante. En lugar de pedir a un bloque de capas que aprendiera directamente la transformación deseada, se le pide que aprenda solo la diferencia respecto a su entrada —el «residuo»—, y esa entrada se suma de nuevo al final mediante una conexión de salto que la deja pasar intacta. Así, la salida del bloque es «la entrada más lo que el bloque haya aprendido». Esto tiene dos virtudes: facilita que el gradiente fluya sin desvanecerse durante el entrenamiento, y hace trivial que una capa «no estorbe» si no aporta nada, aprendiendo simplemente la identidad.
Un origen ganador
ResNet no fue un experimento tímido: alcanzó las 152 capas de profundidad, ocho veces más que las redes anteriores, y ganó con holgura el gran desafío de reconocimiento visual ImageNet de 2015. De ahí surgieron sus variantes por número de capas, como ResNet-50, ResNet-101 o ResNet-152.
Una idea que perdura
El impacto de las conexiones residuales ha sido enorme y duradero. Dejaron de ser una peculiaridad de una arquitectura concreta para convertirse en un ingrediente estándar del aprendizaje profundo. De hecho, están presentes en los Transformers: las arquitecturas que sostienen los grandes modelos de lenguaje actuales no podrían entrenarse a semejante profundidad sin ellas.
Este artículo se ha elaborado con inteligencia artificial bajo supervisión editorial humana.
