Aprendizaje en Línea

El aprendizaje en línea es el régimen de aprendizaje automático en el que los datos llegan de forma secuencial y el modelo actualiza su predicción con cada dato o pequeño lote que recibe, en lugar de entrenarse una sola vez sobre un conjunto completo y fijo, como en el aprendizaje por lotes. Es especialmente útil cuando los datos forman un flujo continuo, cuando llegan demasiado rápido para almacenarlos o cuando el entorno cambia con el tiempo.

Conviene subrayar que es un protocolo de aprendizaje, no una familia de modelos: se puede hacer aprendizaje en línea con modelos lineales, con un perceptrón, con árboles o con redes neuronales.

Su fundamento teórico

El marco correcto para entenderlo es la optimización convexa en línea y la minimización del arrepentimiento (regret): la diferencia entre la pérdida acumulada del modelo y la del mejor predictor fijo que se podría haber elegido en retrospectiva. Un algoritmo es bueno si ese arrepentimiento crece más despacio que el número de rondas, de modo que, a la larga, el modelo rinde tan bien como ese mejor predictor. Los algoritmos fundacionales son el descenso de gradiente en línea o estocástico, el perceptrón y variantes como Follow-the-Regularized-Leader. Es un error vincular el aprendizaje en línea con el teorema de aproximación universal: ese teorema habla de qué funciones puede representar una red, una cuestión distinta e independiente de en qué orden llegan los datos y de cómo se actualiza el modelo.

En línea, incremental y continuo

Tres términos cercanos conviene separarlos. El aprendizaje en línea pone el acento en la actualización secuencial e inmediata, con memoria acotada. El incremental es casi sinónimo, con énfasis en construir el modelo de forma progresiva sin reentrenar sobre todo el histórico. El aprendizaje continuo, o de por vida, afronta una secuencia de tareas o distribuciones distintas y busca acumular conocimiento sin olvidar lo aprendido.

La deriva de concepto

El reto propio de los flujos reales es la deriva de concepto: el cambio de la distribución de los datos con el tiempo. Si cambia la relación entre las entradas y la variable objetivo —la llamada deriva real—, la precisión se degrada y el modelo debe adaptarse; puede hacerlo de forma pasiva, con una ventana deslizante o un factor de olvido, o activa, detectando el cambio y reaccionando. En el aprendizaje continuo aparece además el olvido catastrófico: al aprender tareas nuevas, la red sobrescribe los pesos importantes para las anteriores. Aquí el matiz es fino: ante una deriva de concepto, olvidar lo viejo es deseable porque ya no es válido; en el aprendizaje continuo, olvidar tareas que siguen siendo válidas es precisamente el fallo que se quiere evitar.