Few-Shot Learning

El aprendizaje con pocos ejemplos (few-shot learning) busca que un modelo aprenda una tarea nueva a partir de muy pocos ejemplos etiquetados, normalmente unos pocos por clase. Sus casos extremos son el aprendizaje con un solo ejemplo por clase (one-shot) y el aprendizaje sin ningún ejemplo de la clase objetivo (zero-shot), que generaliza a partir de descripciones o atributos. Con tan pocos datos, el modelo necesita apoyarse en conocimiento previo.

Dos sentidos que no son lo mismo

Conviene distinguir dos usos que hoy conviven. En el sentido clásico, ligado al meta-aprendizaje, se entrena un modelo sobre muchas tareas de pocos ejemplos para que aprenda a generalizar desde pocos datos; aquí los ejemplos ajustan los pesos. En el sentido de los modelos fundacionales, el «aprendizaje en contexto» (in-context learning) consiste en dar unos pocos ejemplos dentro del prompt y dejar que el modelo resuelva la tarea sin actualizar ningún peso; lo popularizó GPT-3 (Brown et al., 2020), cuyo propio artículo se titula «Language Models are Few-Shot Learners». En el primer caso los ejemplos entrenan; en el segundo solo se muestran.

Métodos del enfoque clásico

El enfoque clásico se apoya en el meta-aprendizaje, o «aprender a aprender». Dos familias destacan: los métodos basados en métrica, como las redes prototípicas (Snell et al., 2017), que clasifican por cercanía a un prototipo de cada clase; y los métodos basados en optimización, como MAML (Finn et al., 2017), que aprende unos pesos iniciales tales que unos pocos pasos de ajuste bastan para adaptarse a una tarea nueva.

Límites

El aprendizaje en contexto es muy sensible a los ejemplos elegidos y a su orden: cambiar solo el orden de las demostraciones en el prompt puede alterar el resultado en decenas de puntos. Además, esa capacidad no es «aprendizaje» en el sentido clásico, sino una propiedad emergente del preentrenamiento masivo: sin ese preentrenamiento no existiría. Y los métodos de meta-aprendizaje pueden ser frágiles cuando las tareas nuevas se alejan de las vistas durante el meta-entrenamiento.