Visión por computadora y AGI: cómo distinguir una máquina que ve de una que acierta

Cada vez que un fabricante anuncia que su sistema «reconoce objetos con precisión sobrehumana», está apoyándose en una cadena de resultados que empezó en un concurso académico de 2012. Conviene saber qué se midió allí exactamente, porque de esa medición cuelgan hoy decisiones que afectan a cualquiera: qué cámara de un aeropuerto marca una maleta, qué sistema de un coche decide que eso de delante es una sombra y no un peatón, qué aplicación médica señala una mancha en una radiografía.

La respuesta corta es que en 2012 no se midió «ver». Se midió otra cosa, mucho más estrecha y mucho más útil de entender.

Lo que ocurrió en 2012, con las cifras exactas

El certamen se llamaba ILSVRC, el desafío de reconocimiento visual a gran escala de ImageNet. Su tarea principal consistía en asignar a cada fotografía una de 1.000 categorías, entrenando con cerca de 1,28 millones de imágenes; así lo documentan Olga Russakovsky, Jia Deng, Li Fei-Fei y el resto del equipo en el artículo de referencia del desafío.

En la edición de 2012 ganó una red convolucional de Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton. Sus propias palabras en las actas de NeurIPS 2012: obtuvo «un error de test top-5 del 15,3 %, frente al 26,2 % del segundo clasificado». Diez puntos porcentuales de golpe, en un campo donde se peleaba por décimas. La red tenía 60 millones de parámetros y 650.000 neuronas artificiales.

Ahora la parte que casi nunca se cuenta: «error top-5» significa que el sistema entrega cinco etiquetas candidatas y solo se le apunta un fallo si la correcta no está entre esas cinco. No es «acertó el 84,7 % de las veces». Es «en el 84,7 % de los casos, la respuesta correcta estaba en su lista de cinco». Es una métrica legítima y comparable entre equipos, que era justo para lo que se diseñó. Pero no es una medida de comprensión visual, y quien la traduce a «la máquina ve mejor que un humano» está cambiando el significado por el camino.

El experimento que enseñó dónde estaba el límite

La demostración llegó un año después y vino de los propios protagonistas del campo. En diciembre de 2013, Christian Szegedy, Ilya Sutskever, Ian Goodfellow, Rob Fergus y otros publicaron «Intriguing properties of neural networks», donde escriben que «podemos hacer que la red clasifique mal una imagen aplicando cierta perturbación imperceptible».

Imperceptible en sentido literal: el ojo humano ve la misma fotografía antes y después. La red, en cambio, cambia de categoría con total confianza. Y el hallazgo más incómodo del artículo es que la misma perturbación engañaba también a otra red distinta, entrenada con otro subconjunto de datos. No era un defecto aislado de un modelo mal ajustado: era una propiedad del método.

La lección duradera no es «las redes fallan». Todo falla. La lección es que un sistema puede alcanzar una cifra excelente en la tarea que se le midió y a la vez estar apoyándose en regularidades de la imagen que no tienen nada que ver con lo que el objeto es. La cifra era real. La interpretación, no.

Diez años después: generalidad prestada

El campo avanzó, y mucho. En 2021, un equipo de OpenAI presentó CLIP, entrenado con 400 millones de pares de imagen y texto recogidos de internet. Su resultado más citado, en sus propias palabras: «igualamos la precisión del ResNet-50 original en ImageNet en modo zero-shot, sin necesidad de usar ninguno de sus 1,28 millones de ejemplos de entrenamiento». Es decir, sin haber visto el conjunto de entrenamiento de esa prueba concreta.

Eso sí es un salto cualitativo, y explica por qué hoy un mismo modelo describe una foto, lee un gráfico y responde preguntas sobre un vídeo. El informe técnico de Gemini, publicado por Google en diciembre de 2023, declara que su versión mayor «mejora el estado del arte en 30 de 32» pruebas evaluadas.

Pero fíjese en la forma de la afirmación, porque es la misma de 2012 con ropa nueva: sigue siendo un recuento de victorias en pruebas. Mejor diseñadas, más variadas, más difíciles de memorizar. Pruebas al fin.

Por qué la visión es el mejor termómetro de la generalidad

Aquí entra la razón por la que este asunto se cruza con el debate sobre la inteligencia artificial general. Hans Moravec formuló en «Mind Children» (Harvard University Press, 1988) la observación que hoy lleva su nombre: es comparativamente fácil que una máquina rinda como un adulto en tests de inteligencia o jugando, y comparativamente dificilísimo darle las destrezas perceptivas y motrices de un niño de un año.

La razón es evolutiva, y por eso no caduca: el razonamiento abstracto es reciente en nuestra especie y todavía nos cuesta esfuerzo consciente, mientras que ver e interpretar el mundo lleva cientos de millones de años depurándose y nos sale sin darnos cuenta. Lo que hacemos sin esfuerzo es lo más difícil de reproducir, precisamente porque no sabemos explicar cómo lo hacemos.

Por eso la percepción es un termómetro tan bueno. Un sistema que razona sobre símbolos que alguien le ha dado ya digeridos tiene medio trabajo hecho. Un sistema que tiene que decidir qué hay ahí fuera, con niebla, contraluz y objetos a medio tapar, no puede esconderse detrás de la formulación del problema.

La capacidad: tres preguntas ante cualquier «esta IA ya ve»

Esto es lo que conviene llevarse, y sirve igual dentro de un año y con el nombre de producto que sea:

1. ¿Medido con qué tarea y qué conjunto? «99 % de precisión» no significa nada sin la prueba. Pregunte por el conjunto de datos, por el número de categorías y por si la métrica admite varios intentos, como el top-5. Un porcentaje sin su tarea es publicidad.

2. ¿Aguanta una perturbación pequeña? Un sistema robusto no cambia de opinión porque la foto tenga otra iluminación, otro encuadre o un ruido invisible. Si el fabricante no ha publicado nada sobre robustez, no es que sea buena: es que no la ha medido, o no la enseña.

3. ¿Se ha probado fuera de donde se entrenó? El resultado interesante no es el de la prueba que el equipo eligió, sino el de la situación que no anticipó: otro hospital, otra cámara, otro país, otra iluminación. Si todos los números vienen del mismo entorno, lo que mide es memoria del entorno.

Estas tres preguntas no requieren saber matemáticas. Requieren saber que una cifra siempre responde a una pregunta concreta, y que la pregunta viaja peor que la cifra.

El fondo: las fuentes, sin diluir

Todo lo anterior es comprobable en documentos primarios abiertos, y merece la pena abrirlos:

• Krizhevsky, Sutskever y Hinton (2012), el artículo de AlexNet en las actas de NeurIPS. Aviso útil: la página de resumen muestra las cifras de la versión enviada (37,5 % y 17,0 % de error en la edición de 2010); las del 15,3 % frente al 26,2 % están en el PDF final de actas.
• Russakovsky et al. (2014), la descripción completa del desafío ImageNet: cómo se construyó, qué se anotó y con qué criterios.
• Szegedy et al. (2013), el artículo de los ejemplos adversarios.
• Radford et al. (2021), CLIP, para entender qué significa «zero-shot» y qué no.
• Informe técnico de Gemini (Google, 2023), como ejemplo actual de cómo un laboratorio presenta sus propios resultados.

Falta uno, y su ausencia también enseña algo. El artículo fundacional de esta discusión, «Computing Machinery and Intelligence», que Alan Turing publicó en la revista Mind en octubre de 1950, está tras un muro de pago en Oxford Academic: su PDF figura como disponible solo para suscriptores. Se puede citar por su identificador permanente (DOI 10.1093/mind/LIX.236.433), pero quien quiera leerlo entero tendrá que pagar o pasar por una biblioteca. Conviene saberlo cuando alguien lo cite de memoria: el texto que fundó el debate sobre si las máquinas piensan no está a un clic para el lector medio.

La capacidad que se lleva usted de aquí es esa: ante cualquier sistema que presuma de ver, preguntar qué tarea se midió, si aguanta una perturbación y si se probó fuera de casa. Con esas tres preguntas se lee un anuncio de 2012, uno de hoy y uno de dentro de cinco años.