La IA visual aún tropieza cuando debe aprender solo con ejemplos

El 2 de julio de 2026, seis investigadores de LMU, el Munich Center for Machine Learning y Apple depositaron en arXiv la prepublicación de VICIS, una prueba para modelos que deben descubrir una regla común a varias imágenes sin recibir esa regla por escrito. El caso parece sencillo: mostrar objetos de madera y después un perro para pedir una imagen que conserve al perro, pero aplique el concepto «madera». Para un sistema visual, el reto es separar qué parte de los ejemplos define la instrucción y qué parte es ruido.

La ficha de Apple sobre el trabajo resume el objetivo como Visual Concept Inference from Sets: inferir un concepto compartido por un conjunto pequeño y aplicarlo a una imagen de consulta. La aportación duradera no es que un modelo concreto gane una tabla. Es aprender a examinar cualquier promesa de «aprendizaje mediante ejemplos»: identificar la regla oculta, impedir que el sistema copie y comprobar qué ocurre cuando los ejemplos son ambiguos.

Lo que VICIS pide realmente

VICIS entrega al modelo un conjunto de contexto cuyas imágenes comparten un concepto no etiquetado y una imagen de consulta. La salida no es el nombre del concepto, sino nuevas imágenes. Deben respetar la dimensión definida por el conjunto y conservar la instancia relevante de la consulta.

Esa última condición evita una prueba demasiado fácil. Si el contexto contiene perros de varias razas y la consulta muestra un bulldog, generar cualquier perro demostraría que el sistema resumió el conjunto, no que reconoció qué debe transferir desde la consulta. Por eso el diseño formal incluye una imagen objetivo: consulta y objetivo comparten la misma instancia concreta del concepto, mientras otros rasgos pueden cambiar.

Hay tres papeles que conviene escribir por separado antes de evaluar una herramienta:

1. Regla: la dimensión común en los ejemplos, como material, forma o nivel de una categoría.
2. Instancia: el valor que aporta la consulta dentro de esa dimensión, como bulldog dentro de perro.
3. Libertad: los rasgos que la salida puede variar sin dejar de ser correcta, como fondo, pose o iluminación.

Si esos tres elementos no están definidos, una imagen vistosa puede parecer un acierto aunque haya obedecido una pista accidental. La pregunta útil no es «¿se parece?», sino «¿conservó precisamente lo que debía conservar y cambió solo lo que tenía permiso para cambiar?».

Solo imágenes en la consulta no significa aprendizaje sin supervisión

El sistema propuesto divide el trabajo en tres módulos. Un set learner procesa conjuntamente los ejemplos y calcula direcciones que representan el espacio del concepto. Después proyecta la representación de la consulta sobre ese espacio para aislar la instancia pertinente. Por último, un generador de difusión produce la imagen condicionada por esa proyección. El manuscrito describe esta separación como descubrimiento del concepto, extracción de la instancia y generación.

Durante la inferencia no se proporciona texto ni etiqueta. Sin embargo, el entrenamiento sí necesita una estructura que permita construir conjuntos, consultas y objetivos coherentes. Los autores empiezan con datos sintéticos donde controlan forma, tamaño, posición y color. Para imágenes reales usan jerarquías derivadas de WordNet e ImageNet.

Ese matiz impide una lectura exagerada de «aprende solo mirando». WordNet organiza sentidos en conjuntos de sinónimos y relaciones semánticas; ImageNet se construyó sobre esa estructura para asociar imágenes a synsets. VICIS aprovecha ese andamiaje para formar episodios como animal → mamífero → perro → bulldog. El modelo no ve los nombres al resolver una consulta, pero el laboratorio sí los utilizó para decidir qué ejemplos pertenecen juntos y cuál es la respuesta correcta.

La distinción es transferible: entrada sin texto describe la interfaz de evaluación; entrenamiento sin etiquetas describe de dónde procede la señal de aprendizaje. No son la misma afirmación.

Una cifra de exactitud no detecta los dos atajos

Los autores evalúan la prueba jerárquica con dos medidas. La exactitud comprueba, mediante un clasificador, si la generación cae en la rama correcta. La diversidad intenta detectar si el modelo se limita a copiar la consulta en vez de producir ejemplos distintos que sigan siendo válidos.

En la tabla principal de la versión 2, el modelo propuesto obtiene un 46,34% de exactitud media por concepto y 0,81 de diversidad. ILLUME+ 3B registra 37,15% y 0,57; BAGEL 7B-MoT, 26,05% y 0,46; y un modelo de Visual Prompting entrenado para la tarea, 26,02% y 0,70. Son resultados comunicados por los autores en el subárbol de animales de su benchmark, no una clasificación general de modelos visuales.

La misma tabla contiene un contrapeso importante: al promediar la exactitud por instancia posible de la consulta, ILLUME+ alcanza 55,00% y el sistema propuesto 54,46%. Decir simplemente que uno «vence» al otro borraría que cada métrica responde a una pregunta diferente.

Los controles más reveladores son deliberadamente malos. Copiar la imagen de consulta consigue una exactitud casi perfecta, pero solo 0,47 de diversidad. Generar imágenes aleatorias llega a 0,77 de diversidad, pero su exactitud se acerca a cero. Una sola cifra premia uno de esos atajos. El patrón sirve fuera de VICIS: toda evaluación generativa necesita medir simultáneamente fidelidad a la restricción y variación permitida.

Más ejemplos ayudan poco; los distractores ayudan a entender mucho

Una prueba sólida no mantiene siempre limpio el contexto. Debe variar cuántos ejemplos recibe el modelo y añadir casos que no encajan para averiguar si realmente usa el conjunto.

Según los experimentos de robustez del manuscrito, la exactitud por concepto pasa de 44,74% con dos imágenes a 45,26% con tres, 46,34% con cinco y 46,56% con siete. La mayor parte de la mejora se agota pronto. Ver siete ejemplos no garantiza una comprensión mucho más profunda que ver cinco dentro de esta prueba.

El experimento con ruido es más exigente. Al sustituir una de cinco imágenes por una escogida al azar, la exactitud baja de 46,34% a 37,62%; con dos distractores, cae a 26,01%. La diversidad, en cambio, no cae: se mantiene en 0,812 y después sube a 0,906. Eso no significa que el sistema mejore. Significa que produce resultados más variados mientras pierde la regla correcta.

Para probar una herramienta propia, conviene preparar conjuntos gemelos: uno limpio; otro con un ejemplo ambiguo; otro con un distractor evidente; y otro donde dos reglas distintas sean plausibles. Un sistema fiable debería degradarse de forma visible, mostrar menor confianza o pedir aclaración. Si responde con la misma seguridad a todos, la interfaz oculta justo la incertidumbre que la demostración debería revelar.

Generalizar a bocetos no equivale a comprender cualquier concepto

Los autores también cambian el dominio visual. Prueban consultas y contextos formados por bocetos, además de clases de ImageNet-21k no vistas durante el entrenamiento. La comparación muestra caídas respecto a las fotografías del dominio original, aunque el modelo propuesto mantiene ventaja sobre Visual Prompting en las configuraciones publicadas.

Es una prueba útil porque ImageNet-Sketch fue creado para evaluar transferencia fuera del dominio fotográfico: conserva las categorías de ImageNet, pero reemplaza muchas señales de textura y color por dibujos. Aun así, no abandona la taxonomía. Un buen resultado con bocetos demuestra tolerancia a ese cambio de representación, no que el sistema pueda inferir cualquier estilo, intención cultural o propiedad difícil de encajar en WordNet.

El estudio incluye además una evaluación pequeña de modelos cerrados. El apéndice declara 100 imágenes por modelo, clasificación manual por expertos y un prompt que proporciona la jerarquía. Ese protocolo sirve como indicio de un fallo, pero no tiene el mismo alcance que la tabla jerárquica principal. Tampoco compara sistemas generales y uno entrenado expresamente para VICIS como si hubieran recibido la misma preparación.

La arquitectura es, de hecho, un prototipo de investigación considerable: el manuscrito informa de 765 millones de parámetros entrenables y un entrenamiento de 24 horas en 16 GPU H100. El resultado demuestra que la capacidad se puede aislar y mejorar; no demuestra que ya esté disponible de forma fiable en cualquier generador de imágenes.

Una ficha de cinco pruebas para leer la próxima demostración

Ante un producto que promete aprender de referencias visuales, cinco preguntas convierten la impresión en evidencia:

1. ¿Qué regla debe inferir? Escríbela sin mirar la salida y anota otras reglas plausibles que compartan los ejemplos.
2. ¿Qué debe conservar de la consulta? Cambia fondo, pose o estilo para comprobar si mantiene la instancia relevante en lugar de la imagen completa.
3. ¿Qué atajos puntúan bien? Ensaya copiar la consulta y generar algo diverso al azar. Si cualquiera obtiene buena nota, falta una métrica.
4. ¿Qué hace con el desacuerdo? Añade distractores y conjuntos ambiguos. Registra si el sistema detecta el conflicto, pregunta o inventa una certeza.
5. ¿Dónde deja de valer? Separa entrenamiento y prueba, cambia el dominio visual y declara la taxonomía, el clasificador y la revisión humana usados para juzgar.

VICIS no prueba que una máquina vea como una persona. Sí ofrece algo más útil que esa frase: una forma de separar regla, instancia y variación, y de castigar tanto la copia como la creatividad sin control. Quien conserve esas cinco preguntas podrá evaluar la próxima demostración visual aunque cambien el nombre del modelo, el fabricante y el benchmark.