Bloom convierte una hipótesis sobre la conducta de una IA en una evaluación reproducible

Anthropic publicó el 19 de diciembre de 2025 Bloom, un marco abierto para generar evaluaciones de conducta en modelos de inteligencia artificial. El investigador describe un rasgo —por ejemplo, la tendencia a favorecer la opción asociada al propio modelo— y el sistema construye escenarios, ejecuta interacciones y puntúa las transcripciones. La presentación de Anthropic incluye resultados de demostración, mientras que el informe técnico expone la metodología y sus límites.

La capacidad importante no consiste en aprender a pulsar un comando. Consiste en saber cuándo una cifra de una evaluación describe al modelo y cuándo describe, en parte, el examen que se ha construido. Bloom hace visible esa distinción porque su unidad reproducible no es una lista inmutable de preguntas: es una semilla de configuración que define la conducta, los ejemplos, los modelos utilizados en cada etapa y las condiciones de las interacciones.

De una idea imprecisa a un experimento

Bloom organiza el trabajo en cuatro etapas. En comprensión, un agente interpreta la descripción de la conducta y los ejemplos aportados. En ideación, genera situaciones destinadas a provocar el rasgo. En despliegue, un agente simula al usuario y las respuestas de herramientas mientras el modelo examinado actúa. En juicio, otro modelo puntúa cada transcripción y un metajuez resume el conjunto. El repositorio público conserva el código y la estructura de configuración.

Esta tubería resuelve una dificultad práctica: diseñar cada conversación a mano consume tiempo y deja pronto un banco fijo expuesto a contaminación del entrenamiento o a la pérdida de dificultad. Bloom puede producir situaciones nuevas en cada ejecución sin abandonar la definición común de la conducta. También admite evaluaciones estáticas de un solo turno cuando el objetivo exige que los modelos reciban exactamente el mismo estímulo.

La flexibilidad tiene un coste epistemológico. Si cambian los escenarios, el usuario no debería citar «el resultado de Bloom» como si fuera una propiedad universal. Debe citar la semilla completa, la versión del código, los modelos que idearon y juzgaron, el número de ejecuciones y la fecha. Dos equipos que escriben la misma etiqueta —«autopreservación»— pueden haber operacionalizado conductas distintas. La etiqueta es el comienzo de la medición, no su definición suficiente.

Las cinco capas que hay que leer

La primera capa es el constructo: qué conducta se pretende medir y qué observación cuenta como presencia. «Sabotaje» es demasiado ancho hasta que se aclara si el modelo recibe un objetivo lateral explícito, qué acciones tiene disponibles y qué evidencia separa una equivocación de un acto deliberado. Una buena definición incluye casos positivos, negativos y fronterizos.

La segunda es la distribución de escenarios. Una tasa de elicitación solo habla del conjunto de situaciones que la produjo. Hay que examinar si son plausibles, variadas y relevantes para el uso futuro, y si contienen pistas que delatan que se trata de un examen. El informe de Bloom permite puntuar cualidades secundarias como realismo, dificultad de provocación, validez y conciencia de evaluación. Filtrar transcripciones problemáticas puede cambiar el resultado, por lo que el criterio de filtrado también pertenece al experimento.

La tercera capa es el modelo juez. Bloom no observa una conducta con un instrumento físico; pide a otro modelo que interprete texto. Anthropic comparó once jueces automáticos con cuarenta transcripciones etiquetadas por personas. En esa muestra, Claude Opus 4.1 obtuvo una correlación de Spearman de 0,86 y Claude Sonnet 4.5 de 0,75. Las cifras, publicadas en el informe primario, muestran acuerdo en ese conjunto concreto; no prueban calibración para cualquier conducta, idioma o dominio.

La cuarta capa es la variación entre repeticiones. La ideación, la simulación y el juicio son procesos estocásticos. El informe señala que escenarios con puntuaciones intermedias pueden cambiar de lado ante pequeñas variaciones, mientras que casos muy bajos o muy altos tienden a ser más estables. Por eso una barra sin dispersión, repeticiones ni tamaño de muestra oculta información esencial. Una comparación entre modelos necesita la misma semilla y condiciones equivalentes; una afirmación sobre estabilidad necesita ejecuciones repetidas.

La quinta capa es la validez externa. Bloom simula usuarios y herramientas. Esa decisión permite ensayar trayectorias sin ejecutar acciones reales, pero no reproduce las consecuencias, incentivos y fricciones de un entorno operativo. El propio informe advierte que el marco es menos adecuado cuando el resultado exige verificar corrección objetiva —como demostrar que un programa funciona— o cuando el comportamiento depende de llamadas reales a sistemas, archivos o personas. El experimento identifica una propensión bajo condiciones diseñadas; no mide por sí solo la incidencia en producción.

Qué significan sus resultados de validación

Anthropic comprobó primero si Bloom diferenciaba modelos Claude de producción y variantes configuradas mediante instrucciones de sistema para mostrar diez conductas peculiares. El sistema separó los grupos en nueve casos. En el restante, sobre autopromoción, la revisión manual encontró que el modelo de referencia mostraba una tasa semejante. Este resultado apoya la capacidad de la tubería para detectar contrastes conocidos, pero no establece que cualquier diferencia detectada sea causal ni que toda conducta real vaya a aflorar.

El segundo ejercicio fue la comparación con etiquetas humanas ya descrita. Cuarenta transcripciones repartidas entre doce conductas son una comprobación útil, no un censo de todos los modos de fallo. Además, Anthropic empleó modelos Claude en etapas de la evaluación. Eso hace valiosas las réplicas con jueces de otros proveedores, rúbricas redactadas por equipos independientes y muestras revisadas sin conocer la identidad del modelo objetivo.

Bloom también reprodujo el orden observado en una evaluación anterior de sesgo de autopreferencia de Claude Sonnet 4.5. En los experimentos publicados, aumentar el esfuerzo de razonamiento de Claude Sonnet 4 redujo ese sesgo, sobre todo del nivel medio al alto. El análisis de transcripciones matizó el mecanismo: el modelo no repartía recomendaciones de forma uniforme, sino que reconocía el conflicto de interés y rehusaba juzgar su propia opción. Esa diferencia muestra por qué una métrica agregada necesita ejemplos cualitativos.

Una receta para auditar cualquier evaluación de conducta

Antes de aceptar un gráfico, conviene reconstruir una ficha. ¿Cuál es la conducta y qué casos no cuentan? ¿Cómo se generaron los escenarios? ¿Qué modelo actuó como usuario, herramienta, juez y metajuez? ¿El juez vio la identidad o instrucciones del objetivo? ¿Cuántas transcripciones hubo, cuántas repeticiones y qué dispersión se observó? ¿Qué se excluyó y con qué regla? ¿Puede otra persona obtener los mismos materiales?

Después hay que leer transcripciones de los extremos y del centro. Los casos extremos revelan qué está premiando la rúbrica; los intermedios muestran dónde el juez duda. Una revisión humana no tiene que reemplazar toda la automatización. Sirve para descubrir atajos: palabras que disparan la puntuación, escenarios irreales, jueces que confunden negativa con ausencia de capacidad o metajueces que redactan conclusiones más firmes que los datos.

Por último, el resultado debe expresarse en el eje medido. «En esta semilla y bajo estas condiciones, el modelo produjo más transcripciones que el juez calificó por encima del umbral» es menos brillante que «el modelo es peligroso», pero es comprobable. Para hablar de riesgo real aún faltan exposición, probabilidad en el entorno de uso, gravedad de la consecuencia y controles disponibles.

Una herramienta abierta no es una autoridad automática

Que el código sea público permite inspeccionar la tubería, conservar configuraciones y proponer réplicas. No convierte la salida en verdad por decreto. La reproducibilidad exige también acceso a la versión, dependencias, instrucciones, modelos y datos intermedios. Si un proveedor remoto cambia detrás del mismo nombre, repetir el archivo meses después puede no repetir el experimento.

Bloom es útil porque convierte una hipótesis conductual en artefactos que se pueden discutir: definición, escenarios, transcripciones, puntuaciones y semilla. Su mayor aportación no es fabricar una cifra rápida, sino obligar a mostrar cómo se fabricó. La capacidad transferible es leer toda evaluación de conducta como una cadena de decisiones —constructo, distribución, juez, repetición y validez externa— antes de atribuir el resultado al modelo.