John Schulman deja OpenAI para unirse a Anthropic

El 5 de agosto de 2024, John Schulman anunció en su propia declaración que dejaba OpenAI para incorporarse a Anthropic y concentrarse en alineación y trabajo técnico directo. El mensaje niega que la causa fuera una falta de apoyo de OpenAI; cualquier explicación más dramática necesitaría evidencia adicional, no una lectura de intenciones.

El movimiento tiene peso más allá de un cambio de empleo. Schulman formaba parte del grupo fundador de OpenAI en 2015 y ha sido una de las voces técnicas más relevantes en el trabajo sobre seguridad y entrenamiento de modelos de lenguaje. Anthropic, creadora de la familia de modelos Claude, es además uno de los principales rivales de OpenAI en la carrera por desarrollar asistentes de IA avanzados.

De la investigación de refuerzo a ChatGPT

Antes de que ChatGPT popularizase los asistentes conversacionales, Schulman ya era conocido en el ámbito investigador por sus contribuciones al aprendizaje por refuerzo. Esta técnica permite entrenar un sistema mediante recompensas: el modelo prueba acciones, recibe señales sobre cuáles son preferibles y ajusta su comportamiento.

En OpenAI, ese trabajo resultó esencial para desarrollar el aprendizaje por refuerzo con retroalimentación humana, conocido como RLHF por sus siglas en inglés. El método utiliza evaluaciones de personas para que un modelo no solo genere texto plausible, sino respuestas más útiles y ajustadas a las instrucciones. Es una de las piezas que hicieron posible que ChatGPT pasara de ser una demostración técnica a un producto comprensible para el público general.

Schulman explicó que su decisión era personal y que quería volver a una labor técnica más directa, especialmente en investigación sobre alineación. En empresas que desarrollan modelos cada vez más capaces, la alineación no es un asunto secundario: trata de reducir comportamientos no deseados, mejorar la capacidad de control y anticipar riesgos antes de que los sistemas lleguen a millones de usuarios.

Anthropic refuerza su perfil de seguridad

Anthropic fue fundada en 2021 por antiguos empleados de OpenAI, entre ellos Dario Amodei y Daniela Amodei. Desde su origen ha situado la seguridad de los modelos en el centro de su estrategia comercial y científica. Su propuesta de «IA constitucional», por ejemplo, intenta guiar el comportamiento de Claude mediante un conjunto explícito de principios, en lugar de depender solo de valoraciones humanas caso por caso.

La incorporación de Schulman da a Anthropic un investigador con experiencia práctica en la fase más delicada del desarrollo de un asistente: el ajuste posterior al entrenamiento inicial. Es el momento en que un modelo base, entrenado con enormes cantidades de texto, se adapta para seguir instrucciones, rechazar peticiones peligrosas y mantener una conversación útil.

La competencia entre ambas compañías no se limita ya a lanzar modelos con mejores resultados en pruebas técnicas. También abarca la confianza de empresas y administraciones que necesitan saber cómo responde un sistema ante instrucciones ambiguas, datos sensibles o usos de alto riesgo.

Más cambios en OpenAI

La salida llega durante un verano movido para OpenAI. En mayo abandonaron la empresa Ilya Sutskever, cofundador y científico jefe, y Jan Leike, que codirigía junto a él el equipo de superalineación. Leike afirmó entonces que la seguridad había quedado por detrás de las prioridades de producto dentro de la compañía, una crítica que OpenAI rechazó implícitamente al defender la importancia de su trabajo de seguridad.

Este lunes también se ha conocido que Greg Brockman, presidente y otro de los cofundadores, tomará una excedencia prolongada hasta final de año. Brockman no ha anunciado su salida de OpenAI, pero su ausencia temporal se suma a una etapa de relevo interno tras la crisis de gobierno de la compañía del pasado noviembre.

OpenAI mantiene una posición dominante en el mercado de los asistentes de IA, respaldada por su alianza con Microsoft y por la enorme adopción de ChatGPT. Sin embargo, la marcha de investigadores que participaron en sus fundamentos técnicos muestra que la disputa por el talento especializado en seguridad es tan intensa como la competencia por clientes, capacidad de cómputo y modelos más potentes.

Para Anthropic, fichar a Schulman fortalece su credibilidad en un terreno que ha convertido en seña de identidad. Para OpenAI, el reto será demostrar que puede conservar ese conocimiento crítico mientras acelera el desarrollo de nuevos productos y mantiene bajo control los riesgos de sus sistemas.

Una salida no demuestra el estado de un programa

La declaración personal establece destino y motivos expresados, pero no presupuesto, personal ni autoridad de los equipos que quedan. Para evaluar si cambia la alineación en OpenAI o Anthropic hay que seguir responsables, publicaciones, evaluaciones, puestos abiertos y procesos de lanzamiento. Contar renuncias sin medir funciones convierte personas en sustitutos de evidencia institucional.

La alineación tampoco es una propiedad única. El trabajo de InstructGPT del que Schulman fue coautor explica que el ajuste con preferencias humanas busca respuestas útiles, honestas y menos dañinas, pero representa las preferencias de evaluadores concretos y conserva errores. Seguir instrucciones, resistir manipulación y permanecer controlable al usar herramientas son pruebas diferentes.

Cómo medir el ajuste posterior al entrenamiento

Un conjunto de evaluación debe incluir instrucciones claras, conflictos entre reglas, datos externos hostiles y tareas donde la respuesta correcta es abstenerse. Se conserva la versión base para saber qué cambió y se comprueba si la mejora en una conducta empeora otra. Un promedio puede ocultar que un sistema es más complaciente y menos veraz.

También importa quién define la recompensa. Etiquetadores, investigadores, clientes y personas afectadas pueden discrepar. La documentación útil describe la población de evaluadores, las instrucciones que recibieron y los desacuerdos, no una vaga referencia a “valores humanos”.

La capacidad transferible es separar la biografía de un investigador del programa que integra. Ante un fichaje, pregunta qué función ocupa, qué método usa, qué prueba publica y qué decisión puede detener. El talento importa, pero una política de seguridad necesita sobrevivir a la movilidad del talento.

El organigrama debe traducirse en controles

Un equipo de seguridad puede investigar sin decidir lanzamientos, asesorar sin derecho de veto o controlar una evaluación obligatoria. Las tres configuraciones producen titulares parecidos y consecuencias distintas. La documentación útil identifica a quién informa el equipo, qué artefactos debe aprobar y qué sucede cuando discrepa con producto o dirección.

Los incentivos también se observan. Si el reconocimiento llega solo al aumentar capacidades o acelerar una entrega, la seguridad depende de heroísmo individual. Presupuesto estable, criterios publicados, auditorías y una vía de escalado convierten la intención en proceso. Ninguna estructura elimina el conflicto, pero permite verlo y corregirlo.

Las evaluaciones necesitan memoria institucional

Cada versión debería conservar casos de fallo, cambios de mitigación y regresiones. Cuando una persona se marcha, ese registro permite repetir las pruebas y entender por qué existe un control. Sin él, el nuevo equipo hereda conclusiones sin evidencia o repite incidentes ya estudiados.

Para seguir una organización, crea una tabla de funciones y pruebas, no un marcador de nombres famosos. Actualízala solo con documentos, publicaciones o responsabilidades declaradas. Una incorporación puede ser importante; lo que demuestra su efecto es el cambio posterior en métodos, autoridad y resultados verificables.

La comunicación pública se evalúa con la misma disciplina. “Trabajar en alineación” puede abarcar investigación fundamental, ajuste de conducta, evaluación, seguridad de producto o política. Pedir el objeto concreto evita asignar a una persona todo un campo. El seguimiento más honesto puede concluir que todavía no hay evidencia suficiente de efecto; esa incertidumbre es preferible a convertir un movimiento laboral en diagnóstico técnico. También obliga a distinguir una prioridad declarada de recursos, autoridad y resultados observables, y a conservar la fecha de cada afirmación.