Ética de la AGI: cómo gobernar una capacidad que aún no sabemos medir

A 30 de julio de 2026 no existe una prueba universalmente aceptada que encienda una luz y diga «esto ya es inteligencia artificial general». Tampoco hace falta esperar a que aparezca para tomar decisiones éticas. Un sistema puede ser muy capaz en programación, ciencia o persuasión y, a la vez, fallar en tareas sencillas; puede ser potente pero estar limitado a responder preguntas, o recibir permisos para actuar durante horas sobre cuentas, archivos y personas. La ética cambia mucho entre esos casos.

La pregunta útil no es solo si una máquina merece la etiqueta AGI, sino qué puede hacer, con qué autonomía, para quién y bajo la responsabilidad de quién. Ese cambio de enfoque convierte palabras como seguridad, equidad o transparencia en exigencias comprobables. También evita dos atajos: tratar toda IA como si fuera una persona todopoderosa o suponer que un sistema sin conciencia no puede causar daños reales.

AGI no es un interruptor

AGI suele emplearse para describir un sistema capaz de rendir al nivel humano en una amplia variedad de tareas intelectuales. La definición parece clara hasta que se intenta medir «amplia», «nivel humano» o incluso «tarea». El trabajo Levels of AGI, firmado por investigadores de Google DeepMind, propone separar dos ejes: la amplitud de tareas que cubre un sistema y la profundidad de su rendimiento. Añade niveles, desde emergente hasta sobrehumano, porque una frontera única oculta más de lo que explica.

La distinción decisiva del mismo trabajo es otra: capacidad no equivale a autonomía. Un modelo puede resolver problemas difíciles y seguir encerrado en una conversación. Otro menos brillante puede estar conectado a correo, compras, maquinaria o decisiones administrativas y producir un impacto mayor. La autonomía es una decisión de diseño y despliegue: qué herramientas recibe, cuánto tiempo actúa, qué operaciones requieren confirmación y quién puede detenerlo.

Esta separación ofrece la primera regla práctica para leer cualquier anuncio. Si una empresa afirma que su sistema se acerca a la AGI, hay que pedir dos fichas distintas. Una debe mostrar capacidades con tareas, condiciones, comparación y tasa de fallos. La otra debe describir permisos, límites, supervisión y consecuencias del uso. Un resultado de laboratorio no justifica por sí solo un despliegue autónomo.

Cuatro preguntas convierten los valores en controles

1. ¿Qué puede hacer y qué evidencia lo demuestra?

Una evaluación ética empieza por un mapa de capacidades y límites, no por la intención declarada del fabricante. Debe incluir pruebas pertinentes para el uso real, grupos afectados, fallos previsibles y condiciones en las que el sistema deja de ser fiable. El International AI Safety Report 2026 identifica una «brecha de evaluación»: las pruebas previas al despliegue no predicen de forma fiable la utilidad o el riesgo en el mundo real. Los modelos pueden comportarse de manera distinta fuera del examen, y una puntuación agregada puede esconder fallos raros pero graves.

Por eso «superó el benchmark» es el principio de la conversación, no el final. Hay que preguntar si la prueba representa el entorno de uso, si hubo evaluación independiente, qué resultado se consideró fracaso y qué datos del despliegue se recogerán después. La incertidumbre no invalida el sistema, pero sí invalida una promesa de seguridad absoluta.

2. ¿Qué puede hacer sin pedir permiso?

La autonomía amplifica tanto la utilidad como el daño. Conviene describirla con verbos concretos: el sistema puede recomendar, redactar, ejecutar código, transferir dinero, modificar un expediente o controlar un dispositivo. Después se fija la frontera: solo lectura, entorno aislado, límite de gasto, doble autorización, registro de acciones, apagado y reversión.

Este enfoque evita confiar toda la seguridad a la capacidad de «explicar» una red neuronal. Una explicación puede ayudar a investigar una decisión, pero no sustituye controles externos. Para una operación importante importan también la trazabilidad, la separación de funciones, la aprobación humana significativa y la posibilidad material de deshacer lo ocurrido.

3. ¿Quién responde cuando intervienen muchas organizaciones?

Los sistemas generales forman una cadena: un proveedor entrena el modelo; otra empresa lo adapta; una tercera lo integra; una institución decide usarlo y una persona recibe la consecuencia. Si cada actor señala al anterior, la responsabilidad desaparece. La ética exige asignar antes del despliegue quién verifica los datos, quién configura el sistema, quién vigila los incidentes, quién puede suspenderlo y quién atiende una reclamación.

El perfil de IA generativa del marco de riesgos de NIST organiza ese trabajo durante todo el ciclo de vida y no presenta la confianza como una propiedad automática del modelo. Su valor está en obligar a gobernar, identificar, medir y gestionar riesgos de forma repetida, con funciones y documentación. Es un marco voluntario, no una certificación ni una garantía.

4. ¿Qué puede hacer la persona afectada?

Un principio ético vale poco si quien pierde una oportunidad, recibe una clasificación errónea o sufre una decisión automatizada no puede saberlo ni recurrir. La Convención Marco del Consejo de Europa sobre IA, abierta a firma el 5 de septiembre de 2024, une transparencia y supervisión con salvaguardas procesales: información suficiente para impugnar una decisión, posibilidad efectiva de reclamar y evaluaciones iterativas del impacto sobre derechos humanos, democracia y Estado de derecho.

La prueba más sencilla de una política ética es imaginar el error. ¿La persona sabrá que intervino una IA? ¿Encontrará un responsable humano? ¿Podrá aportar contexto, corregir datos y obtener reparación? Si la respuesta es no, la organización ha descrito valores, pero no ha construido rendición de cuentas.

Tres clases de problema que no deben mezclarse

La conversación sobre AGI suele juntar asuntos con evidencias muy distintas. El primer grupo contiene daños presentes: discriminación, pérdida de privacidad, manipulación, errores en decisiones, concentración de poder, explotación laboral o impacto ambiental. La Recomendación de la UNESCO sobre la Ética de la IA, adoptada el 23 de noviembre de 2021, sitúa estos asuntos en derechos humanos, dignidad, inclusión, medio ambiente y reparto de beneficios. No dependen de que exista AGI.

El segundo grupo reúne riesgos de capacidades avanzadas: uso malicioso, fallos a gran escala, ciberseguridad, pérdida de control operativo o perturbaciones sistémicas. Algunos tienen evidencia observada; otros se estudian mediante laboratorios, modelos y escenarios. Aquí hacen falta evaluaciones de capacidad, modelos de amenaza, seguridad de la información, seguimiento y notificación de incidentes. El informe internacional de 2026 subraya que la evidencia sigue siendo desigual y que la eficacia real de muchas medidas aún no está establecida.

El tercero contiene preguntas morales especulativas, como si un futuro sistema podría tener conciencia o intereses propios. Son preguntas legítimas para la filosofía y la ciencia, pero no deben desplazar los deberes comprobables hacia las personas que ya existen. Tampoco conviene deducir conciencia de una conversación convincente: conducta lingüística, experiencia subjetiva y condición jurídica no son sinónimos.

De los principios a obligaciones observables

Los marcos empiezan a concretarse. En la Unión Europea, las obligaciones para proveedores de modelos de propósito general se aplican desde el 2 de agosto de 2025. Las directrices de la Comisión Europea enumeran documentación técnica, información para integradores, política de derechos de autor y un resumen del contenido de entrenamiento; para modelos con riesgo sistémico añaden evaluación, mitigación, notificación de incidentes y ciberseguridad. A 30 de julio de 2026, la Comisión indica que sus facultades de ejecución plena comenzarán el 2 de agosto de 2026. Una norma no elimina el riesgo, pero convierte parte del discurso ético en deberes que pueden revisarse.

Para evaluar una propuesta sobre AGI, el lector puede usar una ficha de cinco líneas:

• Capacidad: qué tarea realiza, bajo qué condiciones y con qué tasa de fallo.
• Autonomía: qué acciones y recursos controla sin autorización.
• Responsable: quién documenta, supervisa, detiene y responde.
• Evidencia: qué pruebas, auditorías e incidentes pueden comprobarse.
• Reparación: cómo se informa, impugna, corrige y compensa un daño.

La ficha sirve aunque nunca llegue una máquina que todos acepten llamar AGI. Y seguirá sirviendo si llega: obliga a bajar una afirmación extraordinaria al terreno donde la ética puede trabajar, el de las capacidades demostradas, las decisiones humanas y las consecuencias reparables. La capacidad transferible es esta: ante cualquier promesa de AGI, separar capacidad de autonomía y exigir un responsable, evidencia y una vía de reparación.