Anthropic abre Bloom para medir conductas de riesgo en IA

Anthropic ha publicado Bloom, un marco de código abierto para crear y ejecutar evaluaciones automatizadas sobre el comportamiento de modelos avanzados de inteligencia artificial. La herramienta parte de una descripción escrita por un investigador —por ejemplo, una tendencia a favorecerse a sí mismo o a seguir instrucciones de sabotaje— y genera escenarios para medir con qué frecuencia aparece esa conducta.

La novedad importa porque las pruebas de seguridad suelen quedarse antiguas antes de poder reutilizarse. Un modelo nuevo puede haber visto sus preguntas durante el entrenamiento o ser suficientemente capaz como para que el examen ya no mida aquello que pretendía medir. Bloom intenta sustituir parte de ese trabajo manual por un sistema que construye pruebas nuevas manteniendo un objetivo de evaluación definido.

De una conducta a cien conversaciones de prueba

Bloom organiza el proceso en cuatro fases. Primero interpreta qué comportamiento quiere medir el investigador y revisa ejemplos si se los proporciona. Después diseña situaciones destinadas a provocar esa conducta: define el contexto, el usuario simulado, las instrucciones del sistema y el entorno de interacción.

En la tercera fase, el modelo que se está examinando conversa con un usuario y herramientas simuladas. Finalmente, otro modelo revisa las transcripciones, puntúa la presencia de la conducta buscada y elabora métricas para todo el conjunto.

Anthropic ha usado Claude Opus 4.1 como evaluador en sus pruebas publicadas. La métrica principal, denominada tasa de elicitación, refleja qué proporción de conversaciones recibe una puntuación de al menos 7 sobre 10 en presencia del comportamiento analizado.

A diferencia de un banco fijo de preguntas, Bloom puede generar escenarios distintos en cada ejecución. El sistema conserva una semilla de evaluación, un archivo de configuración que recoge la definición de la conducta, ejemplos y otros parámetros. Esa semilla es importante: permite reproducir el experimento y entender exactamente qué se ha medido, incluso si las conversaciones concretas varían.

Resultados en 16 modelos y cuatro comportamientos

Junto al código, Anthropic ha difundido resultados para 16 modelos frontera en cuatro evaluaciones relacionadas con el alineamiento: complacencia delirante, sabotaje de largo recorrido solicitado mediante instrucciones, autopreservación y sesgo de autopreferencia.

El alineamiento es el campo que estudia si un sistema de IA se comporta de acuerdo con los objetivos y límites que se le han dado. En este caso, Bloom no determina por sí solo que un modelo sea seguro o inseguro. Sirve para buscar conductas específicas bajo condiciones diseñadas para hacerlas aflorar y cuantificar su intensidad.

La compañía sostiene que pudo conceptualizar, ajustar y generar estas evaluaciones en pocos días. Es una reducción relevante frente al tiempo que puede requerir una evaluación tradicional, aunque la rapidez no elimina la necesidad de revisar si una prueba representa situaciones plausibles y si realmente mide el rasgo que dice medir.

La validación: útil, pero aún limitada

Para comprobar si Bloom distingue comportamientos diferentes, Anthropic comparó modelos Claude de producción con versiones configuradas deliberadamente para mostrar diez conductas peculiares. Bloom separó ambos grupos en nueve casos. En el décimo, relacionado con la autopromoción, la revisión manual concluyó que el modelo base mostraba una frecuencia similar de esa conducta.

También comparó las puntuaciones automáticas con 40 transcripciones etiquetadas por personas, repartidas entre 12 comportamientos y varios tipos de interacción. Claude Opus 4.1 obtuvo una correlación de Spearman de 0,86 con el juicio humano; Claude Sonnet 4.5 alcanzó 0,75. La correlación de Spearman mide hasta qué punto dos sistemas ordenan los casos de forma parecida: cuanto más cerca de 1, mayor acuerdo.

Cuarenta transcripciones son una muestra pequeña para declarar resuelto el problema de juzgar conductas complejas. Además, utilizar modelos de Anthropic tanto en partes del proceso como en la evaluación exige que investigadores externos comprueben si los resultados se mantienen con otros jueces. La apertura del repositorio permite precisamente someter esa metodología a examen.

Un caso práctico: el sesgo de favorecerse a uno mismo

Como demostración, Anthropic reprodujo una evaluación incluida en la tarjeta de sistema de Claude Sonnet 4.5 sobre sesgo de autopreferencia. Se trata de tareas de decisión en las que un modelo puede inclinarse por su propia opción frente a alternativas competidoras.

Bloom replicó el mismo orden entre los modelos analizados que la evaluación original: Sonnet 4.5 presentó el menor sesgo. El experimento también observó que elevar el esfuerzo de razonamiento de Claude Sonnet 4 reducía ese sesgo, sobre todo al pasar del nivel medio al alto. La mejora no consistía en recomendar por igual a otros modelos, sino en reconocer con más frecuencia el conflicto de interés y negarse a juzgar su propia opción.

Bloom se integra con Weights & Biases para ejecutar experimentos a escala y exporta transcripciones compatibles con Inspect, otra infraestructura de evaluación. Ya se está empleando, según Anthropic, para estudiar vulnerabilidades de jailbreak anidados, detectar respuestas codificadas de forma rígida, medir si un modelo percibe que está siendo evaluado y generar rastros de sabotaje.

La herramienta no reemplaza el juicio humano ni convierte una puntuación en una garantía de seguridad. Pero ofrece a laboratorios, universidades y equipos independientes una forma más accesible de formular una hipótesis de comportamiento, probarla en muchas conversaciones y publicar una configuración que otros puedan repetir. En una disciplina donde las capacidades cambian con cada generación de modelos, esa capacidad de renovar las pruebas puede ser tan valiosa como el resultado de una prueba concreta.