Aprendizaje Profundo

El aprendizaje profundo es la rama del aprendizaje automático que usa redes neuronales con múltiples capas para aprender representaciones jerárquicas de los datos directamente a partir de ejemplos, en lugar de depender de características diseñadas a mano. Lo que lo distingue no es «pensar como un cerebro», sino que las características útiles se aprenden solas, capa a capa.

Fundamentos

La idea central es el aprendizaje de representaciones: donde el aprendizaje automático clásico exigía que un experto diseñara las variables relevantes, una red profunda las descubre por sí misma. El algoritmo que lo hace práctico es la retropropagación, que propaga el error desde la salida hacia atrás para ajustar los pesos. Así, las primeras capas detectan rasgos simples —bordes en una imagen—, las intermedias los combinan en partes y las profundas, en conceptos abstractos. En palabras de LeCun, Bengio y Hinton (Nature, 2015), estos modelos «aprenden representaciones de los datos con múltiples niveles de abstracción».

Arquitecturas y escalado

Las arquitecturas principales son las redes convolucionales (visión), las redes recurrentes (secuencias) y, desde 2017, los Transformers, hoy dominantes en lenguaje y multimodalidad. Un motor central de los últimos años ha sido el escalado: el rendimiento mejora de forma bastante predecible al aumentar a la vez datos, cómputo y parámetros. El trabajo conocido como «Chinchilla» (2022) afinó la receta óptima, mostrando que conviene escalar en paralelo el tamaño del modelo y la cantidad de datos de entrenamiento. De ahí surgen los modelos fundacionales: modelos entrenados sobre datos amplios que luego se adaptan a muchas tareas distintas.

Eficiencia y límites

Frente a la carrera por el tamaño existe una línea igual de activa de eficiencia: destilación, cuantización y modelos pequeños pensados para dispositivos con recursos limitados. Y conviene nombrar los límites sin adornos: el aprendizaje profundo necesita grandes volúmenes de datos y de cómputo; es poco robusto ante perturbaciones o cambios de distribución; sigue siendo en gran medida una «caja negra»; los modelos generativos pueden «alucinar», es decir, producir afirmaciones plausibles pero falsas; y tiende a heredar los sesgos presentes en los datos con los que se entrena.