Transferencia de conocimiento y aprendizaje semi-supervisado en modelos de lenguaje

Etiquetar datos cuesta dinero y tiempo humano. Esa restricción, y no la falta de ideas, es la que ha marcado buena parte del progreso reciente en modelos de lenguaje: casi todas las técnicas que dominan hoy existen para aprovechar el texto que nadie ha anotado, que es prácticamente todo el que hay.

Dos familias resuelven ese problema por caminos distintos, y conviene saber cuál es cuál porque se confunden a menudo.

Aprendizaje semi-supervisado: sacar partido de lo no etiquetado

El aprendizaje semi-supervisado se aplica cuando hay pocos datos etiquetados y muchos sin etiquetar. Combinando ambos, el modelo aprende representaciones más generalizables que si solo viera la parte anotada.

Autoentrenamiento, o pseudo-etiquetado

El método más intuitivo funciona así: se entrena un primer modelo con los pocos ejemplos etiquetados disponibles; ese modelo etiqueta después los datos sin anotar; las predicciones en las que está más seguro se añaden al conjunto de entrenamiento, y se repite el ciclo. Cada vuelta amplía los datos y refina el modelo.

Suena a truco que no debería funcionar —el modelo aprende de sus propias respuestas— y sin embargo funciona, con una condición. El trabajo que mejor lo documenta es «Self-training with Noisy Student» (Xie, Luong, Hovy y Le, 2019): pseudo-etiquetaron 300 millones de imágenes sin anotar y alcanzaron un 88,4 % de acierto top-1 en ImageNet, dos puntos por encima del estado del arte anterior, que necesitaba 3.500 millones de imágenes de Instagram débilmente etiquetadas.

La condición es la parte interesante, y da nombre al método: al alumno se le inyecta ruido —descartes aleatorios de neuronas, profundidad estocástica, aumentos de datos— mientras el maestro etiqueta sin ruido. Aprender la misma respuesta en condiciones más difíciles que aquellas en que se generó es lo que hace que el alumno acabe generalizando mejor que su maestro. Sin ese ruido, el bucle solo amplifica los errores del principio.

Una nota de honestidad sobre la genealogía: la formulación original del pseudo-etiquetado se atribuye a Dong-Hyun Lee (2013), pero fue una comunicación de taller sin actas archivadas y no tiene alojamiento oficial verificable. Por eso aquí no se enlaza: se cita la atribución y se remite al trabajo posterior que sí es primario y comprobable.

Aprendizaje contrastivo

La otra vía no intenta adivinar etiquetas, sino prescindir de ellas. El aprendizaje contrastivo entrena al modelo para acercar entre sí las representaciones de dos versiones del mismo ejemplo y separarlas de las de ejemplos distintos. Nadie dice qué es cada cosa; solo qué se parece a qué.

Su demostración de referencia es SimCLR (Chen, Kornblith, Norouzi y Hinton, 2020): un clasificador lineal entrenado sobre representaciones aprendidas así alcanza un 76,5 % top-1 en ImageNet, igualando a una ResNet-50 supervisada. Y ajustado con solo el 1 % de las etiquetas llega al 85,8 % top-5. Es decir: casi todo el rendimiento, con una centésima parte del trabajo de anotación.

Cuando la supervisión llega del texto que ya existe

Hay una tercera vía que combina las dos anteriores y que conviene conocer porque explica buena parte de lo que hoy funciona: aprovechar como etiqueta algo que ya viene escrito junto al dato.

El caso de referencia es CLIP (OpenAI, 2021), entrenado con 400 millones de pares de imagen y texto recogidos de internet. Nadie anotó esas imágenes: el pie de foto ya estaba ahí. El modelo aprende a acercar cada imagen a su descripción y a separarla de las demás — aprendizaje contrastivo, aplicado entre dos tipos de dato distintos.

Su resultado, textual: «igualamos la precisión del ResNet-50 original en ImageNet en modo zero-shot, sin necesidad de usar ninguno de sus 1,28 millones de ejemplos de entrenamiento». Es decir, sin haber visto el conjunto de entrenamiento de esa prueba concreta.

Conviene entender qué significa y qué no. «Sin etiquetas» no quiere decir sin supervisión: quiere decir que la supervisión la pusieron millones de personas al escribir pies de foto, y que el modelo la aprovechó gratis. La anotación no desapareció; cambió de manos. Y con ella viajan también los sesgos de quien escribió esos textos, que es la contrapartida que casi nunca acompaña al titular.

Y hay una consecuencia práctica que conviene tener a mano al evaluar cualquier sistema entrenado así: la calidad del resultado depende de la calidad de un texto que nadie escribió pensando en entrenar un modelo. Un pie de foto puede ser irónico, estar equivocado o describir otra cosa. A escala de cientos de millones eso se promedia, pero no desaparece — y explica por qué estos modelos fallan de formas que parecen caprichosas.

Transferencia de conocimiento: reutilizar lo aprendido

La transferencia es otra cosa, aunque persiga el mismo ahorro. Aquí hay dos modelos: uno fuente, preentrenado en una tarea con datos abundantes, y uno objetivo, ajustado a una tarea concreta donde los datos escasean. El conocimiento viaja del primero al segundo.

El detalle práctico es que ese traspaso se puede estropear. Si se ajusta todo el modelo de golpe con una tasa de aprendizaje alta, el conocimiento general se sobrescribe: es el fenómeno que se conoce como olvido catastrófico. De ahí las dos precauciones habituales — congelar capas y ajustar de forma gradual.

El caso que lo fijó: ULMFiT

En 2018, Jeremy Howard y Sebastian Ruder publicaron «Universal Language Model Fine-tuning for Text Classification», que convirtió esas precauciones en un método reproducible. Sus cifras, textuales del resumen: reduce el error entre un 18 % y un 24 % en la mayoría de los conjuntos de datos y, «con solo 100 ejemplos etiquetados, iguala el rendimiento de entrenar desde cero con 100 veces más datos».

Merece la pena detenerse en esa segunda cifra, porque es el argumento entero del enfoque: cien ejemplos frente a diez mil. Para cualquier organización que no pueda permitirse un equipo de anotadores, esa es la diferencia entre poder usar la tecnología y no poder.

Y el que lo generalizó: BERT

Ese mismo año, BERT llevó la idea al preentrenamiento bidireccional y estableció un nuevo estado del arte en once tareas, elevando la puntuación GLUE al 80,5 % —7,7 puntos absolutos de mejora— y el F1 de SQuAD v1.1 a 93,2.

Conviene ver la conexión: BERT se preentrena resolviendo tareas que no necesitan anotación humana —predecir palabras ocultas en un texto cualquiera— y solo después se ajusta con datos etiquetados. Es semi-supervisión y transferencia trabajando juntas, que es como se usan casi siempre en la práctica.

Lo que sigue sin estar resuelto

La adaptación a dominios nuevos sigue siendo frágil: un modelo preentrenado en texto general puede rendir mal en textos médicos o jurídicos, donde el vocabulario y la estructura cambian. Y hay un problema que no es técnico sino de responsabilidad: si el corpus de preentrenamiento arrastra sesgos, la transferencia los propaga a todas las tareas derivadas, incluidas aquellas en las que nadie pensó al construirlo.

La capacidad: tres preguntas ante un modelo entrenado «con pocos datos»

1. ¿Pocos datos etiquetados o pocos datos? No es lo mismo. Casi todas estas técnicas necesitan muchísimo texto sin anotar; lo que ahorran es el trabajo humano de etiquetar, no el volumen.

2. ¿En qué se preentrenó? El rendimiento en su tarea depende de cuánto se parezca su dominio al del preentrenamiento. Un modelo entrenado con texto general y evaluado en texto general dice poco sobre lo que hará con sus contratos.

3. ¿La cifra que le enseñan es del preentrenamiento o del ajuste? Son fases distintas y se miden distinto. Confundirlas es el error más común al leer estos anuncios.

El fondo

• Howard y Ruder (2018), ULMFiT, con el detalle de las tres técnicas de ajuste gradual.
• Devlin y otros (2018), BERT.
• Xie y otros (2019), Noisy Student, para entender por qué el ruido es la clave del autoentrenamiento.
• Chen y otros (2020), SimCLR, para el aprendizaje contrastivo explicado desde sus componentes.
• Radford y otros (2021), CLIP, para ver cómo el texto que ya existe en internet se convierte en supervisión.