Cómo se mide el avance hacia una IA general (y cómo auditar el titular)

Cada pocas semanas aparece un titular que anuncia un avance hacia la inteligencia artificial general. Casi ninguno responde a la única pregunta que decide si el avance es real: ¿medido contra qué?

No es una pregunta de especialista. Es la misma que haría cualquiera ante un anuncio de que un coche «mejora un 30 %»: mejora ¿en qué, respecto a qué, en qué condiciones? En inteligencia artificial esa pregunta se ha vuelto especialmente urgente, porque la industria mide su progreso con exámenes que ella misma elige, y porque hay un modo de aprobar un examen que no se parece en nada a saber la materia.

Vamos a ver cómo se mide de verdad, con los documentos en la mano.

Una definición que se puede usar

El punto de partida más útil lo publicó François Chollet en noviembre de 2019, en un trabajo titulado «On the Measure of Intelligence». Su propuesta cambia el objeto de la medición: no medir lo que un sistema sabe hacer, sino «la inteligencia como eficiencia en la adquisición de destrezas».

La diferencia es enorme y se entiende con un ejemplo cotidiano. Un estudiante que resuelve mil problemas porque ha visto esos mil problemas no demuestra lo mismo que uno que resuelve un problema de un tipo que no había visto nunca. El primero exhibe repertorio; el segundo, capacidad de adquirir una destreza nueva con poca información. Si lo que nos interesa es la generalidad, medir repertorio es medir la variable equivocada.

De ahí sale ARC, el Abstraction and Reasoning Corpus, que Chollet construye —en sus palabras— «sobre un conjunto explícito de conocimientos previos diseñados para acercarse lo más posible a los previos innatos humanos». Son rompecabezas visuales sencillos para una persona y deliberadamente resistentes a resolverse por acumulación de ejemplos.

El proyecto sigue vivo en ARC Prize, con una segunda versión de 2025 cuyo objetivo declarado es que algún sistema alcance el 85 % de acierto, y con un estudio de calibración humana hecho a principios de 2025 en San Diego con más de 400 participantes. Un aviso práctico: las puntuaciones concretas cambian de mes a mes, así que cualquier cifra que lea en un artículo —incluido este— hay que contrastarla en la fuente antes de citarla.

El experimento que enseña a distinguir

Aquí está la pieza que convierte todo esto en una herramienta de lectura. En octubre de 2024, un equipo de Apple publicó GSM-Symbolic, un trabajo que somete a los modelos punteros a variaciones controladas de problemas de matemáticas de nivel escolar.

Hicieron dos cosas muy simples. La primera: cambiar únicamente los valores numéricos del enunciado, dejando intacta la estructura del problema. Resultado, en palabras del artículo: «el rendimiento de todos los modelos decae cuando solo se alteran los valores numéricos de la pregunta».

La segunda es todavía más reveladora. Añadieron al enunciado una sola frase que parece pertinente pero no afecta al razonamiento — el tipo de dato irrelevante que abunda en cualquier problema del mundo real. El efecto: «añadir una sola cláusula que parece relevante para la pregunta provoca caídas de rendimiento significativas (de hasta el 65 %) en todos los modelos punteros».

Piense en lo que eso significa. Un sistema que de verdad hubiera entendido el problema descartaría el dato irrelevante sin inmutarse, igual que hace usted. Uno que ha aprendido la forma del enunciado se desorienta cuando la forma cambia, aunque el problema sea el mismo. La caída no mide dificultad: mide de qué estaba hecha la competencia que exhibía antes.

Por qué los exámenes envejecen mal

Hay una dinámica estructural detrás de esto que conviene entender, porque explica por qué las cifras de los benchmarks suben tan deprisa.

Cuando una prueba se convierte en la referencia del sector, pasa a ser un objetivo. Los equipos optimizan contra ella, sus problemas y sus soluciones circulan por internet, y ese material acaba, de una forma u otra, cerca de los datos con los que se entrenan los modelos siguientes. Cuando eso ocurre, la prueba deja de medir capacidad y empieza a medir exposición previa. El síntoma clásico es exactamente el que documenta GSM-Symbolic: rendimiento alto en la prueba original y caída al alterar detalles que no deberían importar.

Por eso las pruebas se renuevan constantemente, y por eso un resultado espectacular en un examen veterano dice bastante menos que un resultado modesto en uno recién estrenado.

Y por qué «AGI» no significa lo mismo para dos personas

Queda un problema previo a cualquier medición: el término mismo. En noviembre de 2023, un grupo de investigadores encabezado por Meredith Ringel Morris, con Shane Legg entre los firmantes, publicó «Levels of AGI for Operationalizing Progress on the Path to AGI», un intento de sustituir el sí o no por una escala.

Su propuesta ordena los sistemas en dos ejes: la profundidad, que es el nivel de rendimiento alcanzado, y la amplitud, que es la variedad de tareas sobre las que se alcanza. Y añade consideraciones sobre autonomía, riesgo e interacción con las personas. El artículo enumera además seis principios que, sostienen, debería cumplir cualquier ontología útil de este campo.

Se puede discutir la escala concreta. Lo que no se puede es seguir usando «AGI» como si designara una cosa acordada. Cuando alguien diga que un sistema «se acerca a la AGI», la primera pregunta razonable es qué entiende por AGI, y la segunda, en cuál de los dos ejes ha mejorado. Muy a menudo la mejora es de profundidad —hacer mejor lo que ya hacía— presentada como si fuera de amplitud.

La capacidad: cuatro preguntas ante cualquier «avance hacia la IA general»

1. ¿Contra qué prueba se midió, y cuándo se creó esa prueba? Un examen antiguo y muy citado ha tenido años para filtrarse en los datos de entrenamiento. Uno recién publicado, no.

2. ¿El resultado sobrevive a una variación trivial? Cambiar los números, reordenar el enunciado, añadir un dato irrelevante. Es la prueba de GSM-Symbolic, y es reproducible por cualquiera con acceso al sistema. Si el rendimiento se desploma, lo que había no era comprensión.

3. ¿La mejora es de profundidad o de amplitud? Hacer mejor una tarea conocida no es lo mismo que hacer una tarea nueva. Solo lo segundo apunta a generalidad.

4. ¿Quién eligió el examen? Cuando el fabricante selecciona las pruebas que publica, lo que usted ve no es el rendimiento del sistema: es el subconjunto de resultados que el fabricante decidió enseñar.

Estas cuatro preguntas no requieren saber programar. Requieren tratar un anuncio técnico como trataría el resultado de un ensayo clínico: preguntando por el protocolo antes que por el resultado.

El fondo, sin diluir

Los tres documentos que sostienen esta pieza están abiertos y se leen sin intermediarios:

• Chollet (2019), «On the Measure of Intelligence». Denso pero fundamental: es donde se argumenta por qué medir destrezas acumuladas no mide inteligencia.
• Mirzadeh et al. (2024), GSM-Symbolic. Corto y demoledor; los ejemplos concretos de problemas alterados se entienden sin formación técnica.
• Morris et al. (2023), «Levels of AGI», para tener a mano una escala con la que discutir en vez de un término elástico.
• ARC Prize, donde se publican las reglas y los resultados actualizados de la prueba de razonamiento abstracto.

La capacidad que se lleva usted de aquí: ante cualquier avance anunciado, preguntar contra qué prueba se midió, si la prueba es lo bastante nueva para no haber sido absorbida y si el resultado aguanta que le cambien un número al enunciado. Es el mismo escrutinio que aplicaría a cualquier afirmación empírica, y basta para separar una capacidad real de una puntuación.