Cuándo una IA puede pasar de recomendar una acción a ejecutarla
Una respuesta convincente no es autorización. Antes de conectar una IA a una API, separa recomendación, propuesta y ejecución, y define permisos, confirmación, registro y reversión.
Una IA puede decir “conviene cancelar esta suscripción” o “envía este correo”. Eso es texto. Otra cosa es que pueda llamar a una API, modificar un registro o enviar el mensaje. Confundir ambas cosas convierte una respuesta persuasiva en una autorización implícita.
La rutina útil tiene tres escalones. Recomendación: el modelo ofrece una opción; no cambia nada. Propuesta: prepara una acción concreta —destinatario, importe, fecha o cambio— para revisión. Ejecución: una integración usa un permiso real y cambia un sistema externo. El riesgo aumenta en cada salto.
La documentación de OAuth 2.0 explica que un token concede recursos y operaciones definidos por scopes. Un agente no obtiene permiso porque su explicación parezca razonable: solo puede ejecutar lo que el token permite. El alcance mínimo reduce el daño posible si interpreta mal una instrucción o encuentra información manipulada.
Antes de automatizar, haga cuatro preguntas. Alcance: ¿puede leer, proponer o también escribir y borrar? Confirmación: ¿la acción es reversible, rutinaria y de bajo impacto, o requiere aprobación humana? Registro: ¿queda constancia de la instrucción, datos usados, permiso y resultado? Reversión: ¿se puede deshacer, pausar o limitar el efecto?
Un buen diseño no usa la misma regla para todo. Un agente puede resumir facturas sin poder pagarlas; puede preparar un borrador de correo sin enviarlo; puede crear una petición de compra que una persona aprueba. La confirmación humana no es decorativa cuando el coste de un error es alto o difícil de revertir.
El AI RMF de NIST organiza el trabajo en gobernar, mapear, medir y gestionar riesgos. Aplicado a agentes, significa definir quién responde por una acción, en qué contexto se usa, qué fallos se miden y cómo se detiene o corrige. El perfil de IA generativa no certifica una integración: recuerda que el riesgo depende del caso de uso.
Una IA puede ser muy útil sin recibir las llaves del sistema. La pregunta correcta no es “¿puede hacerlo?”, sino “¿qué permiso mínimo necesita, quién confirma el salto y qué ocurre si se equivoca?”.
Fuentes primarias: NIST AI RMF, perfil generativo de NIST y OAuth 2.0.
Este artículo se ha elaborado con inteligencia artificial bajo supervisión editorial humana.
