Meta-aprendizaje

El meta-aprendizaje, o «aprender a aprender», busca que un sistema, tras entrenarse en muchas tareas distintas, adquiera la capacidad de adaptarse deprisa a tareas nuevas usando muy pocos ejemplos. En vez de aprender una sola tarea desde cero, aprende un método de aprendizaje. Su objetivo, tal como lo formularon los autores de un trabajo de referencia, es «entrenar un modelo en una variedad de tareas de forma que pueda resolver tareas nuevas con solo un pequeño número de ejemplos».

Aprender con pocos ejemplos

El meta-aprendizaje es el enfoque habitual para el aprendizaje con pocos datos (few-shot learning), donde el modelo debe reconocer conceptos nuevos a partir de uno o unos pocos ejemplos por clase. El entrenamiento se organiza en episodios: en cada uno, el modelo recibe un pequeño conjunto de apoyo con ejemplos etiquetados y debe clasificar un conjunto de consulta. Así ensaya, una y otra vez, la situación de aprender rápido.

Tres familias de métodos

Las técnicas suelen agruparse en tres. Las basadas en optimización, como MAML (Finn, Abbeel y Levine, 2017), aprenden una inicialización de los parámetros tal que bastan unos pocos pasos de gradiente para adaptarse a una tarea nueva. Las basadas en métricas, como las redes prototípicas (Snell y colaboradores, 2017) o las matching networks (Vinyals y colaboradores, 2016), aprenden un espacio donde clasificar consiste en medir distancias a un representante de cada clase. Y las basadas en modelos o memoria usan arquitecturas con memoria externa para almacenar y reutilizar lo visto.

No es lo mismo que el transfer learning

Conviene distinguirlo de conceptos vecinos. En el transfer learning se reutiliza el conocimiento de un modelo ya entrenado en una tarea para otra relacionada, típicamente con datos abundantes. El meta-aprendizaje, en cambio, enseña cómo aprender a partir de muchas tareas, y brilla cuando los datos de la tarea nueva son escasos. Tampoco es lo mismo que la optimización de hiperparámetros, aunque puede aplicarse a ella.

Su eco en los grandes modelos

Hay un puente con la IA más reciente. La capacidad de aprendizaje en contexto de los grandes modelos de lenguaje —resolver una tarea a partir de unos ejemplos incluidos en el prompt, sin reentrenar— se interpreta a menudo como una forma de meta-aprendizaje: el modelo habría aprendido, durante su entrenamiento, a aprender de los ejemplos que se le muestran. Es una lectura conceptual fértil, más que una equivalencia formal.