ImageBind: un avance hacia la inteligencia artificial holística

El 9 de mayo de 2023, un equipo de Meta encabezado por Rohit Girdhar publicó «ImageBind: One Embedding Space To Bind Them All», un sistema que sitúa seis tipos de datos distintos —imágenes, texto, audio, profundidad, imagen térmica y datos de sensores de movimiento— en un mismo espacio matemático.

Lo llamativo no es el número seis. Es cómo lo consiguieron: emparejando cada modalidad solo con imágenes, nunca entre sí. Y aun así, al terminar, el sistema relacionaba correctamente sonidos con mapas de profundidad, dos cosas que jamás se le habían presentado juntas.

Ese resultado esconde una receta general para conectar muchas cosas gastando poco, y va usted a encontrársela en sitios que no tienen nada que ver con la inteligencia artificial.

Qué es un espacio compartido

Un modelo no manipula fotos ni frases: manipula listas de números. Cada elemento se convierte en un vector de unos cuantos cientos de cifras que resume su contenido, y la gracia está en que la posición signifique algo. En un espacio bien construido, dos fotos de perros caen cerca y una foto de un perro cae lejos de una de un avión.

Un espacio compartido da un paso más: mete en el mismo sistema de coordenadas cosas de naturaleza distinta. La foto de un perro, la palabra «perro» y el sonido de un ladrido acaban en la misma zona. Y cuando eso ocurre, operaciones que parecían exigir programas separados se vuelven una sola: buscar imágenes con una descripción, encontrar el sonido que corresponde a una escena o comparar un texto con un vídeo es siempre lo mismo — medir distancias.

El problema de las parejas

Para alinear dos modalidades hace falta material emparejado: fotos con sus pies de foto, vídeos con su audio, escenas con su mapa de profundidad. Alguien tiene que reunir esos pares, y es la parte cara.

Con seis modalidades, el número de parejas posibles es quince. Reunir quince conjuntos de datos emparejados es inviable, y algunos ni siquiera existen: no hay un archivo de imágenes térmicas con su sonido correspondiente, ni razón para que lo haya.

Aquí está el hallazgo, en las palabras del propio artículo: «todas las combinaciones de datos emparejados no son necesarias para entrenar un espacio de representación conjunto, y solo los datos emparejados con imágenes son suficientes para ligar las modalidades entre sí».

Cinco conjuntos en lugar de quince. Y no cinco cualesquiera: cinco que ya existían, porque las imágenes vienen acompañadas de todo lo demás de forma natural. Las fotos llevan texto al lado, los vídeos llevan sonido, las cámaras de profundidad y los sensores de movimiento graban a la vez que la lente.

Lo que aparece sin haberlo pedido

La consecuencia es la parte bonita. Si el audio se alinea con las imágenes, y la profundidad también, entonces el audio y la profundidad quedan alineados entre sí sin que nadie los haya emparejado nunca. Comparten sistema de referencia porque los dos se midieron contra el mismo patrón.

Los autores describen las capacidades que salen de ahí como disponibles «de fábrica»: recuperación de una modalidad a partir de otra, composición aritmética de modalidades, detección y generación entre modalidades distintas. Nada de eso se entrenó como objetivo. Es geometría: si A está cerca de C y B está cerca de C, A y B no pueden estar muy lejos.

Por qué esas seis, y no otras

Merece la pena mirar la lista, porque la elección explica para qué sirve esto de verdad. Junto a las tres previsibles —imagen, texto y audio— hay tres que no lo son tanto: la profundidad, que es la distancia a la que está cada punto de una escena; la imagen térmica, que registra temperatura en lugar de luz; y los datos de las unidades de medición inercial, los sensores de aceleración y giro que llevan dentro los teléfonos y los relojes.

Esas tres tienen algo en común: son pobres en datos. No existe para ellas nada remotamente parecido a los miles de millones de imágenes con texto que hay en internet. Nadie ha etiquetado a mano millones de lecturas de acelerómetro, y no lo va a hacer.

Y ahí está la ganancia práctica del método: una modalidad pobre hereda del eje lo que jamás habría podido aprender por su cuenta. Al anclar las lecturas de un acelerómetro a las imágenes que las acompañaban, esas lecturas entran en un espacio donde ya existen las nociones de «correr», «caerse» o «subir escaleras», nociones construidas con material visual y textual abundante. El sensor no aprendió qué es caerse; se colocó donde ya estaba escrito.

Ése es el motivo de que este enfoque interese fuera de los laboratorios. La mayoría de los datos valiosos del mundo real —de una fábrica, de un hospital, de una red eléctrica— son exactamente así: abundantes en volumen y desiertos en etiquetas. Si esas señales pueden engancharse a algo que sí está descrito, dejan de necesitar un conjunto de entrenamiento propio que nadie va a financiar.

La capacidad que se lleva usted

Ésta es la idea que sobrevive al modelo concreto, y es de las más rentables que existen.

Para conectar N cosas entre sí no hacen falta N(N-1)/2 conexiones: bastan N-1 conexiones a un centro común. Con seis elementos, quince frente a cinco. Con veinte, ciento noventa frente a diecinueve. La diferencia crece de forma explosiva, y por eso ese patrón aparece siempre que el problema es de interoperabilidad.

Es exactamente por lo que existen los protocolos y los formatos de intercambio. Un traductor entre veinte idiomas no necesita cuatrocientos diccionarios si adopta una lengua puente. Un sistema que integra veinte aplicaciones no necesita conectores para cada par si todas hablan con un bus común. Cada vez que vea una integración que crece por multiplicación, la pregunta útil es: ¿cuál puede ser el centro?

Y el precio, que también conviene saberlo

Un centro no es gratis, y aquí es donde termina el entusiasmo y empieza el criterio.

Todo pasa por el eje, así que los puntos ciegos del eje se vuelven los puntos ciegos de todos. Si una distinción no queda registrada en una imagen, no puede ligar dos modalidades a través de ella. Un matiz que el oído capta y la vista no —el tono con que se dice algo, la diferencia entre un motor sano y uno gripado— no tiene por dónde entrar en un espacio construido sobre lo visual.

Lo mismo ocurre con los sesgos: si el material de imágenes representa mal a un grupo, una situación o una parte del mundo, ese defecto no se queda en la imagen. Se propaga a todas las modalidades que se anclaron en ella, y se vuelve más difícil de ver, porque ya no parece un problema de fotos.

Se ve bien mirando lo que no está en la lista. No hay olfato, ni gusto, ni tacto o fuerza, y no es por falta de interés: es que no existe un archivo de imágenes acompañadas de esas señales, y sin ese emparejamiento no hay por dónde engancharlas. El método no llega a donde el eje no ha estado.

Ese compromiso —enorme ahorro a cambio de una dependencia común— es el mismo que se acepta al elegir un formato estándar o una lengua franca. Vale la pena casi siempre. Pero conviene firmarlo sabiendo qué se firma.

Por dónde seguir, sin intermediarios

El artículo original es público y sus figuras se entienden sin leer las matemáticas: muestran qué recupera el sistema al darle un sonido o una imagen térmica, que es la forma rápida de intuir qué significa «mismo espacio».

La capacidad que se lleva de aquí es reconocer el patrón del eje común: cuando algo tiene que conectarse con todo, no lo conecte con todo — busque el centro por el que ya pasan las cosas, y sepa qué deja fuera.