Lenguaje e IAG: cómo medir generalidad sin confundirla con fluidez

Reeditado el 30 de julio de 2026, este artículo parte de una separación necesaria: producir lenguaje convincente no demuestra inteligencia artificial general. El lenguaje es una interfaz extraordinariamente amplia; permite pedir traducciones, código, explicaciones o planes con el mismo formato. Pero una interfaz común no convierte automáticamente esas tareas en una capacidad común ni prueba que el sistema pueda aprender cualquier habilidad nueva.

La afirmación «esto se acerca a la IAG» necesita una definición, un conjunto de pruebas y una contabilidad de recursos. De lo contrario, una conversación elegida, una puntuación académica o el tamaño del modelo se transforman en un certificado sin criterio de falsación. El método útil descompone generalidad, rendimiento y autonomía y pregunta qué evidencia sostiene cada eje.

Predecir texto no es un examen de generalidad

Un modelo autoregresivo se entrena para asignar probabilidad al siguiente token dado un contexto. Al repetir esa operación puede generar párrafos, código o diálogos. El objetivo favorece la captura de regularidades sintácticas, semánticas y factuales presentes en los datos, pero no especifica por sí solo verdad, planificación, experiencia del mundo ni una meta persistente.

GPT‑3 documentó en 2020 un modelo de 175.000 millones de parámetros evaluado con cero, uno o pocos ejemplos escritos en el contexto. El estudio mostró que una única interfaz podía abordar numerosas tareas sin ajustar gradientes para cada una. También registró resultados desiguales, límites en varias tareas y riesgos asociados a los datos y a la generación. El hallazgo era aprendizaje en contexto bajo pruebas concretas, no una declaración experimental de IAG.

La fluidez añade un problema de observación: la misma salida expresa tanto una respuesta como una explicación aparente. Una frase bien formada puede proceder de una asociación correcta, una fuente recuperada, una herramienta, una pista en el enunciado o una invención plausible. Para atribuir capacidad hay que variar condiciones y separar componentes. Una conversación no revela qué mecanismo produjo el acierto.

Generalidad, rendimiento y autonomía son ejes distintos

El rendimiento pregunta cuán bien resuelve el sistema una tarea. La generalidad pregunta cuán amplio es el conjunto de tareas y cuánto transfiere a otras nuevas. La autonomía pregunta cuánto puede actuar sin intervención y durante cuánto tiempo. Un modelo puede obtener una puntuación alta y ser estrecho; una herramienta de propósito amplio puede necesitar supervisión constante; un agente autónomo puede ser poco competente y aun así causar daño porque ejecuta acciones.

El marco Levels of AGI propone clasificar sistemas por profundidad de rendimiento y amplitud de generalidad, y tratar el riesgo de despliegue —incluida la autonomía— de forma separada. Es una propuesta conceptual de sus autores, no una norma universal, pero repara una confusión frecuente: «más capaz» no significa automáticamente «más general», y «más general» no significa «más autónomo».

También importa el coste de adquirir una habilidad. En On the Measure of Intelligence, François Chollet plantea evaluar la eficiencia de adquisición de habilidades teniendo en cuenta experiencia y conocimientos previos. Memorizar muchas tareas durante el entrenamiento puede producir gran cobertura sin mostrar adaptación eficiente ante una regla verdaderamente nueva. Para hablar de transferencia hay que declarar qué vio el sistema, qué no vio y cuánta ayuda recibió.

Los benchmarks iluminan una franja

MMLU reúne preguntas de elección múltiple de 57 materias, desde matemáticas elementales hasta derecho y ética. Permite comparar conocimiento y resolución de preguntas bajo un formato común. No mide por sí solo conversación, acción, aprendizaje continuo ni uso seguro del conocimiento. Además, acertar una opción no muestra el proceso: puede haber razonamiento, reconocimiento de patrones o exposición previa a material semejante.

BIG-bench reunió más de 200 tareas aportadas por una comunidad amplia para explorar capacidades y límites de modelos de lenguaje. Su diversidad es una fortaleza, pero no convierte la media en una escala natural de inteligencia. Las tareas difieren en dificultad, formato, sensibilidad a instrucciones y posibilidad de aparecer en datos de entrenamiento. Elegir después solo las que mejoran produce una historia sesgada.

HELM propone una evaluación holística: escenarios definidos y varias métricas, no una única cifra. Junto a exactitud considera aspectos como calibración, robustez, equidad, sesgo, toxicidad y eficiencia. Ningún conjunto agota el sistema, pero la estructura enseña una disciplina: una capacidad se describe mediante el escenario, la adaptación permitida, las métricas y los límites de la comparación.

Los benchmarks también caducan. Ejemplos, soluciones y análisis circulan públicamente y pueden terminar en nuevos corpus. Una versión posterior puede reconocer material sin adquirir la habilidad que se quería medir. El control requiere conjuntos reservados, variantes nuevas, fechas de corte, detección de solapamiento y pruebas adversas. Si el fabricante ha visto la prueba durante el desarrollo, la puntuación deja de ser una sorpresa independiente.

La saturación es otra señal: cuando casi todos los sistemas aciertan, el conjunto ya no separa capacidades en esa zona. Añadir preguntas más rebuscadas no siempre resuelve el problema; puede convertir la prueba en un concurso de rarezas. Es preferible diseñar familias de tareas con dificultad controlada, registrar curvas y repetirlas con perturbaciones que conserven la regla. Así se observa si el sistema aprendió el patrón o una superficie concreta.

Lenguaje, herramientas y mundo

Una respuesta lingüística puede describir una acción sin ejecutarla. Para reservar un viaje, analizar una hoja de cálculo o controlar un robot hacen falta percepción, estado, permisos, herramientas y comprobación del resultado. Añadir esos componentes amplía el sistema, pero también crea puntos de fallo: recuperación de una fuente incorrecta, parámetro mal formado, autorización excesiva o falta de confirmación.

La evaluación debe seguir el recorrido completo. ¿El modelo eligió la herramienta correcta? ¿Citó el documento usado? ¿Comprobó que la acción terminó? ¿Detectó una contradicción? ¿Pidió confirmación antes de un paso irreversible? La puntuación del modelo base no responde esas preguntas. Un sistema con acceso a búsqueda puede acertar hechos recientes que sus pesos no contienen; el mérito debe atribuirse al flujo y medirse con la herramienta disponible.

El lenguaje tampoco sustituye el anclaje en una situación. «La caja está a la izquierda» depende de un punto de vista; una recomendación médica depende de historia clínica, exploración y umbrales de riesgo; un término jurídico depende de jurisdicción y fecha. Cuando falta una variable, una conducta competente puede ser preguntar o abstenerse. Forzar siempre una respuesta aumenta la apariencia de capacidad y reduce la fiabilidad.

Cómo auditar una afirmación de progreso hacia IAG

Primero se copia la afirmación literalmente y se define la capacidad. «Rinde mejor» necesita tarea, población de ejemplos, métrica y línea base. «Generaliza» necesita una distribución nueva y un grado de novedad. «Aprende» necesita experiencia permitida y coste. «Es autónomo» necesita horizonte, acciones, supervisión y condición de parada. «Comprende» debe traducirse a conductas que puedan fallar.

Después se congela la comparación: misma versión, instrucciones, herramientas, presupuesto, latencia y acceso a ejemplos. Se publican resultados desagregados y fallos, no solo la media. Se separa evaluación pública de prueba reservada y se declara cualquier posible contaminación. Una mejora estrecha sigue siendo valiosa; llamarla estrecha permite aplicarla donde funciona sin convertirla en una promesa sobre todo lo demás.

Una revisión adversa intenta romper la afirmación con cambios sencillos: reformular la instrucción, alterar nombres y orden, retirar una pista, exigir una cita o introducir una contradicción. Si el resultado desaparece, la descripción de capacidad debe estrecharse. También se anotan abstenciones y falsas seguridades; un sistema que reconoce límites puede ser más útil que otro con más aciertos y errores imposibles de detectar.

Por último se mantiene una matriz de capacidades: tareas dominadas, tareas fallidas, transferencia observada, recursos usados, límites y fecha de prueba. La matriz puede crecer con evidencia y retroceder cuando cambia el entorno. La capacidad transferible es exigir ese mapa antes de aceptar la frase «más cerca de la IAG». El lenguaje puede ser una ventana a muchas habilidades; la generalidad se demuestra fuera de la ventana, con novedades controladas, costes comparables y fallos visibles.