Aprendizaje por Transferencia
Técnica que reutiliza el conocimiento aprendido por un modelo en una tarea para resolver otra relacionada. Hoy sustenta la adaptación de modelos fundacionales mediante ajuste fino eficiente (LoRA, adapters, prompt tuning), con beneficios que dependen de la similitud entre dominios: transferir mal puede dañar.
El aprendizaje por transferencia (transfer learning) es la técnica de aprendizaje automático que reutiliza el conocimiento adquirido por un modelo en una tarea o dominio de origen para resolver otra tarea relacionada, el dominio de destino, en lugar de entrenar desde cero. El survey de Sinno Jialin Pan y Qiang Yang, publicado en IEEE Transactions on Knowledge and Data Engineering en 2010, no originó la idea: remonta la investigación moderna al taller «Learning to Learn» de 1995; su contribución fue reunir el campo y dar una definición unificada mediante dominios y tareas de origen y destino.
Su motivación es práctica: los datos etiquetados son caros y escasos en muchos problemas reales, mientras que las representaciones aprendidas en tareas con datos abundantes a menudo son reutilizables.
Cómo se practica: preentrenar y afinar
El patrón es preentrenar y después adaptar. En visión, Razavian et al. probaron en 2014 representaciones extraídas de una red entrenada para ILSVRC13 sobre tareas distintas, desde reconocimiento de escenas hasta recuperación de imágenes; era evidencia experimental concreta de que unas características preentrenadas podían reutilizarse, no una garantía universal. En lenguaje, BERT preentrena con texto sin etiquetar y permite ajustar todos sus parámetros con una capa de salida para tareas posteriores, mientras el primer GPT combinó preentrenamiento generativo y ajuste discriminativo. Una alternativa más ligera es extraer características: congelar el modelo preentrenado y entrenar solo un componente pequeño encima.
La era de los modelos fundacionales y el PEFT
Afinar todos los pesos de un modelo de decenas o cientos de miles de millones de parámetros resulta prohibitivo, y de ahí el auge del fine-tuning eficiente en parámetros (PEFT). LoRA (Hu et al., 2021) congela los pesos preentrenados e inyecta matrices entrenables de bajo rango: en GPT-3, de 175.000 millones de parámetros, redujo los parámetros entrenables unas 10.000 veces y la memoria de GPU a un tercio, con resultados equiparables o mejores que el ajuste completo. Los adapters de Houlsby et al. (2019) añaden módulos por tarea y mantienen fija la red original; en GLUE, el PDF publicado informa de un 3,6% de parámetros adicionales por tarea y un rendimiento a menos del 0,4% del ajuste completo. El prompt tuning de Lester et al. (2021) aprende «prompts blandos» para condicionar un modelo congelado y, en sus experimentos con T5, iguala el ajuste completo cuando el tamaño supera miles de millones de parámetros.
Cuándo funciona y cuándo no
La ganancia no es universal: depende de la similitud entre origen y destino, de cuántos datos tiene la tarea final y de la capacidad del modelo. La transferencia negativa ocurre cuando usar datos o conocimiento del dominio de origen reduce el rendimiento en el destino. El survey de Wen Zhang, Lingfei Deng, Lei Zhang y Dongrui Wu, publicado en febrero de 2023 en IEEE/CAA Journal of Automatica Sinica, explica que puede aparecer si las tareas no están relacionadas, las distribuciones difieren demasiado o el algoritmo no es adecuado, y revisa unas cincuenta estrategias de transferencia segura, estimación de similitud, transferencia distante y mitigación. Predecir a priori cuánto ayudará una transferencia concreta sigue siendo un problema abierto.
Piezas que usan este término
Este artículo se ha elaborado con inteligencia artificial bajo supervisión editorial humana.
