Aprendizaje No Supervisado de Representaciones

El aprendizaje no supervisado de representaciones busca que un modelo aprenda por sí mismo, a partir de los datos y sin etiquetas humanas, representaciones útiles que capturen la estructura subyacente y sirvan para tareas posteriores. La idea, formalizada por Bengio, Courville y Vincent, es que el rendimiento de un algoritmo depende mucho de cómo se representan los datos: una buena representación separa los factores que los explican. Es la base del preentrenamiento moderno.

No supervisado y autosupervisado

Conviene aclarar la relación entre dos términos. El aprendizaje no supervisado clásico es exploratorio: descubre estructura, agrupamientos o patrones sin etiquetas (agrupamiento, reducción de dimensionalidad). El aprendizaje autosupervisado obtiene la señal de supervisión de la estructura de los propios datos: puede pedir al modelo que prediga contenido oculto o que relacione dos vistas del mismo ejemplo, sin necesitar etiquetas humanas para construir ese objetivo. Por eso se incluye a menudo dentro del aprendizaje no supervisado, aunque el nombre destaca que sí existe una tarea de entrenamiento definida. No hace falta convertirlo en «el enfoque dominante» para explicar su mecanismo.

Métodos

Hay varias familias y cada trabajo define un objetivo concreto. SimCLR estudia un marco contrastivo simple y muestra que las transformaciones de datos y el cabezal de proyección afectan a la representación; MoCo mantiene una cola de representaciones y un codificador de momento para formar diccionarios contrastivos. Entre los métodos predictivos, BERT reconstruye tokens enmascarados, el primer GPT predice el siguiente token a partir del contexto previo y los masked autoencoders reconstruyen parches ocultos de imágenes. Son ejemplos documentados de representaciones reutilizables en sus evaluaciones; no demuestran que una familia gane en cualquier dato o tarea.

Por qué importa

Su valor práctico es aprovechar datos sin una etiqueta humana para cada ejemplo y después probar qué conserva la representación en otra tarea. El informe de Stanford de 2021 define los modelos fundacionales como modelos entrenados sobre datos amplios —por lo general mediante autosupervisión a escala— y adaptables a muchas tareas posteriores. Esa relación ancla una genealogía concreta entre autosupervisión, representación y transferencia; no implica que todo aprendizaje no supervisado produzca un modelo fundacional ni que la adaptación funcione igual en cualquier dominio.