Meta presenta V-JEPA, un modelo que aprende del vídeo sin píxeles

Meta ha presentado V-JEPA, un modelo de inteligencia artificial entrenado para aprender de vídeos sin necesidad de etiquetas humanas y sin intentar reconstruir cada píxel que falta en una secuencia. En su lugar, predice una representación interna y abstracta de las partes ocultas del vídeo.

La propuesta importa porque se aleja del método dominante de generar imágenes o fotogramas. Para Yann LeCun, científico jefe de IA de Meta, comprender el mundo exige que los sistemas aprendan qué elementos de una escena son relevantes, cómo cambian y qué puede ocurrir después, no solo que produzcan una copia visualmente convincente.

Predecir significado, no la apariencia exacta

V-JEPA significa Video Joint Embedding Predictive Architecture, o arquitectura predictiva conjunta de representaciones para vídeo. Su funcionamiento parte de una idea sencilla: se ocultan zonas de un clip y el modelo debe inferir qué hay en ellas a partir del resto de la secuencia.

Pero no devuelve los píxeles ausentes. V-JEPA genera una representación, una especie de resumen matemático de alto nivel, de aquello que debería estar en esa zona. Esa representación puede capturar que una persona está levantando un objeto o que un vehículo se desplaza, sin tener que decidir el color exacto de una camiseta, el fondo o la textura de una pared.

El modelo cuenta con un codificador que analiza las partes visibles del vídeo y otro que produce las representaciones objetivo de las regiones ocultas. Un predictor aprende a aproximar esas representaciones a partir del contexto disponible. Durante el entrenamiento, el sistema recibe vídeos sin anotaciones sobre sus objetos o acciones: es aprendizaje autosupervisado, porque los propios datos proporcionan la tarea de aprendizaje.

Esta diferencia tiene consecuencias prácticas. Predecir píxeles obliga a un sistema a dedicar capacidad de cálculo a detalles que pueden ser irrelevantes para entender una acción. Además, cuando hay varias continuaciones visuales posibles, un modelo generativo puede tender a producir resultados borrosos o artificiales. Una representación abstracta permite conservar la información que sirve para razonar sobre la escena sin exigir una única imagen futura exacta.

Una pieza de la apuesta de LeCun por los modelos del mundo

V-JEPA materializa una línea de investigación que LeCun lleva años defendiendo: las máquinas deberían construir modelos del mundo, es decir, sistemas con una comprensión interna de objetos, acciones y relaciones causales básicas.

Los grandes modelos de lenguaje aprenden principalmente de texto y destacan al continuar secuencias de palabras. Los modelos de imagen y vídeo generativos, por su parte, han demostrado que pueden crear contenido audiovisual cada vez más realista. La tesis de Meta es que generar contenido y comprender una situación no son necesariamente la misma tarea.

Un niño no necesita imaginar cada píxel de una pelota detrás de un sofá para anticipar que puede reaparecer al otro lado. Basta con conservar una noción de que la pelota sigue existiendo, de su trayectoria y de los obstáculos presentes. V-JEPA aspira a que un sistema visual aprenda abstracciones de este tipo a partir de grandes colecciones de vídeo.

El enfoque también conecta con I-JEPA, el modelo para imágenes que Meta presentó en 2023. La novedad ahora es el tiempo: el vídeo contiene movimientos, cambios y relaciones entre momentos consecutivos que una imagen fija no puede mostrar.

Buenos resultados en comprensión de acciones

Meta entrenó V-JEPA con aproximadamente dos millones de vídeos públicos sin etiquetas y lo evaluó en tareas de clasificación y localización de acciones. Según la compañía, el modelo obtuvo resultados competitivos en conjuntos de referencia como Kinetics-400, Something-Something-v2 y AVA, incluso cuando se mantenía congelado el codificador aprendido y solo se entrenaba una capa adicional para la tarea concreta.

Esa última prueba es relevante. Si una representación sirve para varias tareas sin tener que reentrenar todo el modelo, el coste de adaptarla a nuevos usos puede bajar. En teoría, esta clase de tecnología podría ayudar a analizar actividades en vídeo, buscar momentos concretos en grandes archivos audiovisuales o dar a sistemas robóticos una mejor lectura de lo que ocurre a su alrededor.

Aun así, reconocer acciones en benchmarks no equivale a comprender el mundo como lo hace una persona. Los conjuntos de evaluación suelen tener categorías definidas y vídeos relativamente acotados; el mundo real es más ambiguo, cambia de contexto y contiene situaciones inesperadas.

El reto es pasar de observar a anticipar

V-JEPA no es un asistente de vídeo ni un producto listo para el consumidor. Es investigación abierta sobre una forma alternativa de entrenar sistemas visuales. Su valor está en plantear que el siguiente avance no tiene por qué ser un generador de vídeo más espectacular, sino un modelo que descarte información superficial y retenga aquello que permite anticipar una escena.

Meta deberá demostrar que esta idea escala a secuencias más largas, entornos menos controlados y tareas donde la predicción tenga consecuencias reales. También queda por resolver cómo combinar estas representaciones visuales con lenguaje, memoria y planificación. Pero V-JEPA deja clara una división que será central en los próximos años: crear imágenes convincentes no garantiza entender lo que sucede en ellas.