Anthropic cartografía 34 millones de rasgos en Claude 3 Sonnet

Anthropic ha publicado un avance relevante para entender qué sucede dentro de los modelos de lenguaje. La compañía ha identificado 34 millones de rasgos internos —patrones ligados a conceptos, idiomas, entidades o tipos de texto— en Claude 3 Sonnet, uno de sus modelos comerciales.

El experimento más llamativo es Golden Gate Claude: una versión modificada de Claude que lleva la conversación al puente Golden Gate de San Francisco incluso cuando la pregunta no guarda relación con él. No es una simple ocurrencia promocional. Es una demostración de que los investigadores pueden localizar y alterar, al menos en algunos casos, mecanismos concretos dentro de un modelo.

El problema de los modelos que nadie puede leer

Los grandes modelos de lenguaje se entrenan ajustando miles de millones de valores numéricos. Esos valores permiten predecir la siguiente palabra con gran eficacia, pero no ofrecen un manual de instrucciones legible. Cuando un modelo responde sobre biología, redacta código o comete un error, resulta difícil saber qué componentes internos han intervenido.

Durante años se intentó asociar cada neurona artificial con una idea concreta. El problema es que muchas neuronas son polisénticas: participan en varios conceptos aparentemente inconexos. Una misma neurona puede reaccionar ante texto jurídico, un determinado idioma y fragmentos de código. Mirarlas de una en una ofrece una imagen demasiado confusa.

Anthropic emplea una técnica denominada aprendizaje de diccionarios. En vez de interpretar neuronas individuales, entrena un sistema auxiliar llamado autoencoder disperso para descomponer la actividad de una capa del modelo en un número mucho mayor de rasgos. Cada rasgo está diseñado para activarse pocas veces y de forma más específica.

La analogía útil es la de una mezcla de colores. Una neurona puede formar parte de muchos tonos distintos; el aprendizaje de diccionarios intenta separar esos tonos en componentes más reconocibles. No revela cada cálculo de Claude, pero permite construir un mapa más detallado de una parte de su actividad interna.

Conceptos, idiomas y el puente Golden Gate

El equipo encontró rasgos vinculados a temas muy concretos, desde el puente Golden Gate y determinados países hasta errores de programación, discusiones sobre sesgos de IA o referencias a figuras públicas. También localizó rasgos que se activan con un mismo concepto expresado en diferentes idiomas. Eso sugiere que, al menos en algunos casos, el modelo organiza el significado de manera que no depende por completo de una lengua concreta.

La cifra de 34 millones no significa que Claude 3 Sonnet tenga 34 millones de pensamientos separados ni que cada rasgo equivalga a una idea humana. Son patrones matemáticos extraídos de la actividad de una capa intermedia del modelo. Algunos son claros; otros son ambiguos, están mezclados o sólo describen regularidades estadísticas difíciles de traducir a lenguaje corriente.

El valor del trabajo está en que no se limita a observar correlaciones. Anthropic modificó la intensidad de un rasgo asociado al Golden Gate Bridge y comprobó el efecto en las respuestas. Al amplificarlo, Claude empezó a introducir el puente en explicaciones, relatos y conversaciones ajenas al asunto. De ahí nace Golden Gate Claude, que la compañía ha puesto como demostración pública.

Ese resultado aporta una prueba causal limitada: tocar un rasgo cambia el comportamiento del sistema. Es distinto de descubrir que una neurona se activa mientras aparece una palabra; aquí se interviene sobre el mecanismo y se observa una consecuencia.

Una vía para auditar modelos, no una radiografía completa

La interpretabilidad se ha convertido en una de las grandes apuestas de seguridad de Anthropic. Si los investigadores pueden detectar representaciones internas relacionadas con una conducta dañina, una capacidad peligrosa o una instrucción engañosa, podrían contar con nuevas herramientas para auditar los modelos antes de desplegarlos.

La promesa es importante, pero el alcance actual es modesto frente a la complejidad de un modelo de frontera. El estudio analiza una capa y obtiene millones de rasgos, no una explicación completa de Claude 3 Sonnet. Además, que un rasgo tenga una interpretación intuitiva no garantiza que sea la única causa de una respuesta ni que pueda controlarse sin efectos secundarios.

Aun así, el trabajo marca distancia con una práctica habitual en el sector: evaluar los modelos sólo por lo que responden desde fuera. Las pruebas de comportamiento seguirán siendo esenciales, pero Anthropic propone complementarlas con inspección interna. Golden Gate Claude es una versión deliberadamente extravagante de esa idea; la aplicación seria consistirá en averiguar si el mismo método puede detectar y modificar capacidades mucho menos visibles que un puente famoso.