Anthropic cartografía 34 millones de rasgos en Claude 3 Sonnet

Anthropic publicó el 21 de mayo de 2024 un mapa de 34 millones de rasgos extraídos de una capa intermedia de Claude 3 Sonnet. Entre ellos aparecían patrones asociados al puente Golden Gate, errores de código, sesgos profesionales o conversaciones sobre secretos. Cuando el equipo amplificó artificialmente el rasgo del puente, el modelo empezó a introducirlo en respuestas que no guardaban relación con San Francisco. La intervención aporta algo más fuerte que una coincidencia, pero mucho menos que una explicación completa de Claude.

La distinción es la clave para leer la interpretabilidad mecánica. Un rasgo no es un pensamiento guardado en una casilla ni una regla escrita por un programador. Es una dirección matemática aprendida por un sistema auxiliar para describir patrones recurrentes de activación. El experimento muestra que algunas de esas direcciones son comprensibles y pueden influir causalmente en el comportamiento; no demuestra que los 34 millones formen un inventario natural y exhaustivo de la mente del modelo.

Por qué mirar neuronas una a una no basta

Un modelo de lenguaje transforma tokens a través de capas de operaciones numéricas. Podemos registrar el valor de cada neurona, pero conocer esos números no explica por qué aparece una respuesta concreta. Una neurona puede activarse ante contextos sin relación aparente y un solo concepto puede repartirse entre muchas neuronas. Anthropic llama a este problema superposición: la red reutiliza sus dimensiones para representar más patrones de los que cabrían si cada neurona tuviera una sola función.

En octubre de 2023, el equipo había probado una salida en un modelo pequeño. Su trabajo inicial de aprendizaje de diccionarios descompuso una capa de 512 neuronas en más de 4.000 rasgos, con patrones relacionados con secuencias de ADN, lenguaje jurídico, solicitudes HTTP o texto hebreo. La pregunta de mayo era si el método podía escalar desde aquel laboratorio reducido hasta un modelo desplegado.

La herramienta es un autoencoder disperso. Observa las activaciones internas y aprende un diccionario sobredimensionado con el que reconstruirlas usando pocos rasgos activos cada vez. Disperso significa precisamente eso: para un fragmento dado, la representación intenta recurrir a una fracción pequeña del diccionario. Cada rasgo combina varias neuronas, y un estado se expresa combinando varios rasgos.

La analogía de un mapa ayuda si se conserva su límite. Aumentar el número de rasgos se parece a dibujar con más resolución: pueden separarse patrones que en una vista gruesa estaban mezclados. Pero el cartógrafo elige escala, proyección y método. Un diccionario con 34 millones de entradas es una solución aprendida bajo ciertos objetivos, no prueba que el territorio contenga exactamente 34 millones de unidades verdaderas.

Qué cartografió el experimento

El informe técnico Scaling Monosemanticity aplicó autoencoders dispersos al flujo residual de la capa central de Claude 3 Sonnet, la versión presentada en marzo de 2024. El flujo residual es el canal por el que se acumula y transporta información entre bloques. Analizar un punto intermedio ofrece una vista rica, pero sigue siendo un corte del cálculo, no cada capa, atención y circuito del sistema.

El equipo entrenó diccionarios de distintos tamaños, hasta 34 millones de rasgos. Encontró activaciones interpretables para entidades, idiomas, sintaxis, temas y patrones abstractos. El rasgo del puente Golden Gate respondía al nombre en distintas lenguas y también a imágenes. Cerca de él, en la geometría aprendida, aparecían otros rasgos vinculados con San Francisco, como Alcatraz o el terremoto de 1906.

Esas relaciones son sugerentes: indican que parte de la organización interna se parece a nociones humanas de proximidad conceptual. No hay que convertir parecido en equivalencia. Un rasgo se etiqueta observando ejemplos que lo activan, y algunos admiten descripciones claras mientras otros son ambiguos. La etiqueta es un resumen humano de un patrón, no el contenido literal de una variable.

Además, encontrar 34 millones de rasgos no significa interpretar los 34 millones con la misma calidad. El propio resumen de Anthropic sobre el mapa habla de millones de conceptos y reconoce que los rasgos recuperados son una pequeña parte de lo aprendido. Completar el conjunto con el método disponible habría exigido, según la empresa, mucho más cálculo que entrenar el modelo original.

Tres niveles de evidencia

La primera evidencia es activación: un rasgo aparece ante ejemplos relacionados. Es una correlación útil para proponer una interpretación, pero puede ocultar excepciones. La segunda es consistencia: se buscan muchos contextos, idiomas y modalidades y se comprueba si la misma descripción sigue prediciendo cuándo aparece. Cuanto más diverso sea el conjunto, menos probable es que la etiqueta solo capture una palabra superficial.

La tercera es intervención. Los investigadores aumentaron o redujeron la activación de rasgos mientras Claude respondía. Al intensificar el del puente, el tema invadió preguntas ajenas. También probaron rasgos relacionados con correos fraudulentos, adulación y comportamientos potencialmente dañinos. Cambiar el rasgo y observar un cambio alineado en la salida es evidencia causal de que participa en el mecanismo.

Aun así, causal no significa único ni suficiente en condiciones normales. Una intervención artificial puede llevar una variable muy fuera del rango de uso habitual. El comportamiento puede depender de muchos rasgos y circuitos a la vez. Si subir una dirección produce obsesión con un puente, sabemos que esa dirección puede empujar el resultado; no sabemos que sea la causa exclusiva de toda mención al puente ni que silenciarla elimine el concepto sin efectos colaterales.

Un rasgo de riesgo no es una alarma terminada

La promesa de seguridad consiste en inspeccionar señales internas que una prueba externa puede no activar. Un evaluador podría buscar rasgos vinculados a engaño, código dañino o sesgo y observar cuándo intervienen. También podría comparar cómo un ajuste de seguridad cambia la red, en vez de limitarse a comprobar un conjunto de respuestas.

Pero la presencia de un rasgo no prueba intención, peligro ni acción. Un modelo necesita representar estafas para reconocerlas y advertir al usuario; el mismo patrón puede participar al analizarlas o producirlas. Un detector útil tendría que distinguir contexto, dirección causal y resultado. Tampoco encontrar silencio garantiza ausencia: la conducta podría estar representada por otros rasgos que el diccionario no recuperó.

La intervención reveló incluso que amplificar bastante un rasgo asociado a correos fraudulentos podía superar el comportamiento de rechazo. Anthropic aclaró que los usuarios normales no tienen ese acceso interno. El hallazgo demuestra tanto el valor diagnóstico como el riesgo de confundir una palanca experimental con un control listo para producción.

Del mapa al circuito

Conocer rasgos responde parcialmente a qué información está representada. Aún falta cómo se combina para producir una salida: qué componentes escriben un rasgo, cuáles lo leen, en qué secuencia y bajo qué condiciones. Esa red de dependencias es el circuito. Un callejero con lugares identificados no explica por sí solo el tráfico.

Para evaluar el próximo anuncio de interpretabilidad conviene preguntar: ¿qué modelo y versión se estudió?, ¿qué capa o componente?, ¿cuántos rasgos se extrajeron y cuántos se validaron?, ¿la evidencia es correlación o intervención?, ¿se midieron falsos positivos y negativos?, ¿la técnica cambia conductas sin deteriorar otras? Esas coordenadas convierten una metáfora de mente abierta en un resultado verificable.

La capacidad transferible es distinguir representación, interpretación y mecanismo. El autoencoder propone rasgos; los ejemplos permiten etiquetarlos; la intervención prueba influencia limitada; el análisis de circuitos debe explicar cómo cooperan. Anthropic abrió una ventana importante en Claude 3 Sonnet, pero una ventana no es el edificio entero. El rigor está en celebrar que ya se ve algo y conservar, a la vez, el contorno exacto de lo que sigue oculto.

La mejor prueba combina por tanto comportamiento externo, inspección interna y replicación independiente: ninguna de las tres capas sustituye a las otras.