Análisis de Vídeo

El análisis de vídeo aplica la visión por computador a secuencias de imágenes ordenadas en el tiempo, no a una imagen aislada. Su rasgo definitorio frente al análisis de imagen fija es la dimensión temporal: el vídeo codifica movimiento y cambio, de modo que un modelo no solo debe responder «qué hay», sino «qué ocurre» y «en qué orden».

Tareas, no solo aplicaciones

Conviene distinguir las tareas formales de sus usos. Las principales son la clasificación de vídeo o reconocimiento de acciones (asignar una etiqueta de acción a un clip), la detección de objetos en cada fotograma, el seguimiento (mantener la identidad de un objeto a lo largo del tiempo), la segmentación (etiquetar píxel a píxel, en sus variantes semántica, de instancias y de vídeo) y la comprensión temporal (localizar cuándo empieza y acaba una acción, resumir o describir el vídeo).

De las convoluciones 3D a los transformadores

Los métodos han evolucionado por generaciones. Las primeras arquitecturas combinaban la convolución con la dimensión temporal, como I3D (DeepMind, 2017) o SlowFast (2019), con una vía lenta para la apariencia y otra rápida para el movimiento. Después llegaron los transformadores de vídeo, que aplican el mecanismo de atención al espacio y al tiempo —ViViT y TimeSformer (2021), o VideoMAE (2022), con preentrenamiento autosupervisado—. Hoy dominan los modelos multimodales de vídeo y lenguaje, que acoplan un codificador de vídeo con un gran modelo de lenguaje para describir y razonar sobre lo que ocurre.

Evaluación y riesgos

El rendimiento se mide sobre conjuntos como Kinetics o Something-Something, con métricas de acierto, precisión media o solapamiento según la tarea. Y hay riesgos que conviene nombrar. El sesgo demográfico es real: el estudio Gender Shades (2018) halló tasas de error mucho mayores para mujeres de piel oscura, y la precisión agregada oculta esas diferencias por subgrupo. Y el uso para vigilancia —reconocimiento facial y seguimiento masivo— plantea problemas de privacidad. Son cuestiones técnicas y de política pública que informamos como tales.