Reinicio Coseno

El reinicio coseno —conocido en la literatura como cosine annealing with warm restarts o SGDR— es una estrategia para planificar la tasa de aprendizaje durante el entrenamiento de una red neuronal. Lo propusieron Ilya Loshchilov y Frank Hutter en 2017. Combina dos ideas: un decaimiento en forma de coseno y unos reinicios periódicos.

Cómo funciona

El decaimiento coseno reduce la tasa de aprendizaje siguiendo una curva de coseno, desde un valor máximo al inicio de cada ciclo hasta un valor mínimo al final. Los reinicios en caliente (warm restarts) consisten en que, al terminar un ciclo, la tasa vuelve a subir bruscamente al valor alto y empieza a decaer de nuevo. Son «en caliente» porque no se reinician los pesos del modelo —se conserva la solución alcanzada—; solo se sube la tasa de aprendizaje.

Por qué se usa

El salto brusco a una tasa alta da al optimizador el impulso necesario para escapar de mínimos locales o mesetas y explorar otras regiones del paisaje de pérdida, mientras el decaimiento posterior vuelve a afinar la convergencia. En la práctica acelera el entrenamiento y mejora la generalización frente a un decaimiento fijo, y es muy habitual en visión por computador y en el ajuste fino de modelos.

Sus parámetros

Se controla con cuatro valores: la tasa máxima y la mínima entre las que oscila; la longitud del primer ciclo; y un factor de multiplicación que alarga los ciclos sucesivos —por ejemplo, con un factor de 2 los ciclos duran 10, 20 y 40 iteraciones—. Una aplicación elegante es guardar el modelo al final de cada ciclo: como cada uno converge a un mínimo distinto, se obtiene un conjunto de modelos (un «snapshot ensemble») al coste de entrenar uno solo.