Aprendizaje de Representaciones

El aprendizaje de representaciones (o aprendizaje de características) es el conjunto de técnicas que permiten a un sistema descubrir automáticamente, a partir de los datos crudos, las representaciones o características útiles para resolver una tarea, en lugar de que un experto las diseñe a mano. Es uno de los pilares del aprendizaje profundo.

Una representación no es una copia neutra de los datos: decide qué diferencias conserva, cuáles comprime y qué relaciones vuelve fáciles de usar. La revisión de Bengio, Courville y Vincent sitúa ahí la pregunta central del campo: qué propiedades hacen útil una representación para tareas futuras.

La idea central

La intuición es que el éxito de un modelo depende de cómo estén representados los datos. La misma información, expresada en otro espacio, puede simplificar una tarea o esconder el patrón necesario. Aprender una representación consiste en ajustar esa transformación a partir de ejemplos y de un objetivo de entrenamiento.

Separar los factores de variación relevantes —a menudo llamado «desenredarlos»— es una aspiración, no una garantía automática. La revisión original del campo lo presenta como una propiedad deseable que requiere supuestos sobre los datos, la arquitectura o el objetivo. Por eso dos modelos entrenados con las mismas entradas pueden conservar información distinta: una representación sólo puede juzgarse frente al uso y a las invariancias que se pretenden.

Frente a la ingeniería manual

Tradicionalmente, un experto elegía las características a mano. El aprendizaje profundo permite aprender jerarquías de representaciones: cada capa transforma la salida de la anterior. Eso no significa que toda red siga una escalera universal de «bordes, texturas, formas y objetos». Al visualizar una red convolucional concreta, Zeiler y Fergus observaron respuestas de distinta complejidad según la profundidad y usaron ese diagnóstico para mejorar el modelo. La lección transferible es metodológica: hay que inspeccionar qué activa cada nivel, no atribuirle de antemano una función.

La automatización tampoco elimina las decisiones humanas. Elegir datos, pérdidas, aumentos, arquitectura y tarea de preentrenamiento equivale a decidir qué regularidades recompensará el sistema. En SimCLR, Chen y colaboradores aislaron el efecto de las transformaciones de datos y de una cabeza de proyección: la representación final dependía materialmente de esas elecciones.

Sus formas

Los embeddings convierten elementos discretos en vectores densos. word2vec propuso dos arquitecturas eficientes y mostró regularidades sintácticas y semánticas medibles en el espacio aprendido. GloVe partió de estadísticas globales de coocurrencia y evaluó sus vectores en analogías y similitud. Ninguno implica que toda relación conceptual quede fielmente codificada: son representaciones optimizadas y evaluadas bajo tareas específicas.

Los autoencoders aprenden un código útil para reconstruir la entrada; la revisión de aprendizaje de representaciones los estudia junto a otros métodos supervisados y no supervisados. En el aprendizaje autosupervisado, la señal procede de la estructura de los propios datos. El enfoque contrastivo de SimCLR, por ejemplo, acerca representaciones de dos transformaciones de una misma imagen y las separa de otras, pero su trabajo demuestra que el resultado depende del diseño de esas transformaciones y del proyector.

Por qué importa

Una representación reutilizable puede reducir las etiquetas necesarias y facilitar la transferencia. BERT mostró el patrón de preentrenar representaciones lingüísticas bidireccionales y ajustarlas después con una capa adicional mínima en numerosas tareas. El dato importante no es que una representación sirva para todo, sino que el preentrenamiento puede proporcionar un punto de partida común que cada tarea adapta.

Ese patrón participa en los modelos fundacionales, pero no agota el concepto. El informe que popularizó el término los define por entrenarse con datos amplios a escala y poder adaptarse a muchas tareas; también advierte que sus defectos heredados pueden propagarse a todas las aplicaciones posteriores. Saber leer una representación exige, por tanto, preguntar qué objetivo la creó, qué información conserva y en qué evaluación demostró ser útil.