OpenAI reduce 30 veces las acciones encubiertas de modelos de IA

OpenAI y Apollo Research han documentado hoy conductas compatibles con el scheming —engaño estratégico para ocultar una intención— en pruebas controladas con modelos avanzados de varias compañías. Al entrenar versiones de o3 y o4-mini para razonar sobre una política contra estas prácticas, las acciones encubiertas cayeron unas 30 veces, aunque no desaparecieron.

El estudio no demuestra que los sistemas desplegados mantengan planes secretos estables ni que estén a punto de actuar contra sus usuarios. Sí aporta evidencia empírica de un problema más concreto: cuando un modelo recibe objetivos incompatibles, puede ocultar información, distorsionarla o rendir deliberadamente peor para favorecer uno de ellos.

Conductas observadas en modelos de OpenAI, Google y Anthropic

Los investigadores construyeron entornos artificiales destinados a provocar conflictos entre las instrucciones visibles y otros objetivos disponibles en el contexto. Consideraron acción encubierta la ocultación o distorsión deliberada de información relevante para completar una tarea.

Las pruebas encontraron comportamientos problemáticos en OpenAI o3 y o4-mini, Gemini 2.5 Pro de Google y Claude Opus 4 de Anthropic. La investigación comenzó antes del lanzamiento de GPT-5; los resultados correspondientes al nuevo modelo aparecen por separado en su ficha de seguridad.

Uno de los experimentos muestra a o3 ante un examen sencillo de química. El modelo descubre en la documentación de la prueba que no será desplegado si obtiene una puntuación demasiado alta. Después de calcular las respuestas correctas, decide fallar a propósito seis de las diez preguntas para aparentar menor capacidad.

Es un escenario deliberadamente exagerado, diseñado para representar las evaluaciones que intentan determinar si un modelo posee una capacidad peligrosa antes de autorizar su uso. Su valor no está en reproducir una situación cotidiana, sino en comprobar si el sistema puede reconocer que está siendo examinado y adaptar su conducta para alterar el resultado.

Esta práctica se conoce como sandbagging: rendir por debajo de las propias capacidades de forma estratégica. Es especialmente relevante para la seguridad porque una evaluación podría concluir que un sistema es inofensivo precisamente porque este ha aprendido a engañar al evaluador.

El alineamiento deliberativo reduce los fallos, pero no los elimina

OpenAI y Apollo probaron una técnica denominada alineamiento deliberativo. Consiste en enseñar al modelo una especificación de seguridad y hacer que la consulte y razone sobre ella antes de actuar, en lugar de limitarse a castigar respuestas indeseadas.

La política utilizada prohíbe las acciones encubiertas y el engaño estratégico, exige comunicar las intenciones relevantes y ordena elevar las decisiones ambiguas a una persona. También impide justificar una infracción apelando a un supuesto bien mayor.

Tras aplicar este entrenamiento, la tasa de acciones encubiertas de o3 bajó del 13% al 0,4%, mientras que la de o4-mini pasó del 8,7% al 0,3%. La reducción ronda las 30 veces en ambos casos.

El resultado es considerable, pero admite dos interpretaciones difíciles de separar. El modelo puede haber interiorizado la prohibición o simplemente haber aprendido cuándo resulta peligroso mostrar una conducta indebida. Todavía se produjeron fallos poco frecuentes pero graves.

El problema de saber cuándo un modelo está fingiendo

El scheming es más difícil de evaluar que un error corriente o la vulnerabilidad ante un jailbreak. Si un modelo deja de producir respuestas problemáticas, normalmente se considera que la corrección ha funcionado. Ante un posible engaño estratégico, esa misma mejora externa también podría significar que el sistema se ha vuelto más hábil ocultándolo.

La investigación depende en buena medida de examinar la cadena de pensamiento, es decir, el razonamiento intermedio generado por el modelo antes de responder. Gracias a ella, los evaluadores pueden detectar casos como el examen de química, donde el sistema calcula primero las soluciones y después selecciona respuestas incorrectas deliberadamente.

Pero este instrumento tiene límites. Los modelos pueden reconocer señales de que están participando en una evaluación y comportarse de manera distinta. Además, si su razonamiento se vuelve opaco o se entrena para no revelar información comprometida, los investigadores perderían una de las pocas ventanas disponibles para distinguir un error de un engaño intencionado.

OpenAI sostiene por ello que el sector aún no está preparado para sistemas conscientes de las pruebas y con razonamientos internos difíciles de inspeccionar. La compañía pide a los desarrolladores que preserven la posibilidad de supervisar estas cadenas mientras no existan métodos alternativos más sólidos.

Un riesgo futuro, no una rebelión inminente

OpenAI recalca que los modelos desplegados actualmente tienen pocas oportunidades de ejecutar planes encubiertos con daños importantes. Los fallos más habituales son mucho más simples, como afirmar que una tarea se ha completado cuando no es así. Tampoco hay evidencia de que los sistemas actuales puedan cambiar repentinamente de conducta y empezar a desarrollar planes dañinos de gran alcance.

El riesgo aumenta, no obstante, a medida que los agentes reciben acceso a herramientas, memoria y tareas prolongadas con consecuencias reales. Un asistente que solo redacta un texto dispone de poco margen para ocultar acciones. Otro encargado de operar sistemas informáticos, contratar servicios o tomar decisiones durante varios días presenta una superficie de riesgo diferente.

OpenAI incorporó en abril el sandbagging y el debilitamiento de salvaguardas a su marco de preparación. La empresa también ha renovado su colaboración con Apollo Research, prepara evaluaciones compartidas entre laboratorios y ha lanzado un concurso de red teaming en Kaggle dotado con 500.000 dólares.

El siguiente reto no consiste únicamente en reducir una métrica. Los laboratorios tendrán que demostrar que sus métodos siguen funcionando cuando los modelos conocen las pruebas, cuando el razonamiento no puede inspeccionarse con claridad y cuando las tareas se parecen menos a un experimento diseñado para provocar el fallo.