Aprendizaje Multi-Dominio

El aprendizaje multi-dominio entrena un solo modelo para resolver la misma tarea en varios dominios a la vez, donde cada dominio es una distribución de datos distinta. El ejemplo clásico es el análisis de sentimiento aplicado simultáneamente a reseñas de libros, de cine y de electrónica: la tarea es la misma, pero el vocabulario y la estadística de cada tipo de reseña cambian. Su reto es el desplazamiento de dominio: un modelo entrenado en una distribución se degrada al aplicarse a otra.

Qué lo distingue de conceptos vecinos

Conviene deshacer una confusión frecuente con tres nociones próximas. El aprendizaje multitarea aprende varias tareas distintas a la vez, no varios dominios de una misma tarea. El aprendizaje por transferencia (y la adaptación de dominio) es direccional: lleva conocimiento de un dominio fuente a otro objetivo, y le importa el rendimiento en el objetivo; el multi-dominio, en cambio, trata todos los dominios por igual y busca rendir bien en todos a la vez. Y el aprendizaje continuo afronta una secuencia de tareas en el tiempo, con el problema del olvido.

Dónde encaja EWC

Esa distinción importa para ubicar una técnica que suele citarse fuera de lugar. La consolidación elástica de pesos (EWC, Kirkpatrick et al., 2017) combate el olvido catastrófico penalizando el cambio de los pesos importantes para tareas anteriores. Pertenece al aprendizaje continuo, que ve las tareas de forma secuencial, y no al multi-dominio, que las entrena todas a la vez y por tanto no sufre ese olvido. En una entrada de multi-dominio, EWC solo debe mencionarse para deslindar.

Métodos

Los métodos propios del multi-dominio combinan una parte compartida entre dominios con parámetros específicos de cada uno: un extractor de características común que alinea las distribuciones, capas de normalización dependientes del dominio, y adaptadores —módulos pequeños que se insertan en una red compartida y se conmutan según el dominio, con muy pocos parámetros propios—.