El 'microscopio de IA' de Anthropic revela cómo piensa Claude

Anthropic ha publicado este 27 de marzo dos trabajos de investigación que intentan responder a una pregunta que persigue a la industria desde que existen los grandes modelos de lenguaje: ¿qué ocurre realmente dentro de ellos cuando escriben una respuesta? La compañía lo describe como construir un "microscopio de IA", una herramienta para observar los patrones de actividad y los flujos de información dentro de su modelo Claude, tomando prestado el enfoque de la neurociencia.

El punto de partida es una confesión poco habitual en una empresa tecnológica: sus propios creadores no entienden cómo hacen los modelos la mayoría de las cosas que hacen. Claude no está programado directamente por humanos. Se entrena sobre grandes cantidades de datos y, durante ese proceso, aprende por su cuenta las estrategias para resolver problemas. Esas estrategias quedan codificadas en los miles de millones de cálculos que ejecuta por cada palabra que escribe, y llegan a los desarrolladores en forma indescifrable.

Qué han hecho exactamente

Son dos papers complementarios. En el primero, Anthropic amplía un trabajo previo que localizaba conceptos interpretables —a los que llaman "features", o características— dentro del modelo, y ahora enlaza esos conceptos entre sí en "circuitos" computacionales. La idea es reconstruir el camino que transforma las palabras que entran en Claude en las palabras que salen.

En el segundo, aplican esa técnica a Claude 3.5 Haiku, uno de sus modelos, estudiando en profundidad diez comportamientos representativos a partir de tareas sencillas. La propia empresa reconoce los límites del método: incluso en instrucciones cortas, solo captura una fracción del cálculo total que realiza el modelo, y comprender los circuitos que sí ve exige varias horas de trabajo humano para textos de apenas decenas de palabras. Escalarlo a los miles de palabras que sostienen el razonamiento de los modelos actuales requerirá mejorar tanto la técnica como la forma de interpretar lo que se observa, quizá con ayuda de la propia IA.

Con esas reservas por delante, los hallazgos son notables.

Un "idioma del pensamiento" compartido

Claude habla decenas de idiomas con fluidez. La pregunta que se hicieron los investigadores es si existe un "Claude francés" y un "Claude chino" funcionando en paralelo, o si hay un núcleo común por debajo de todos los idiomas.

Para comprobarlo pidieron al modelo el "opuesto de pequeño" en distintas lenguas. Descubrieron que se activan las mismas características básicas para los conceptos de pequeñez y de oposición, que disparan a su vez el concepto de grandeza, y solo al final ese resultado se traduce al idioma de la pregunta. Es decir, el modelo piensa en un espacio conceptual compartido y traduce después.

El dato que da peso a la observación: esa circuitería compartida aumenta con el tamaño del modelo. Claude 3.5 Haiku comparte entre idiomas más del doble de la proporción de sus características que un modelo más pequeño. Esto apunta a una especie de universalidad conceptual —un espacio abstracto donde residen los significados antes de vestirse con un idioma concreto— y sugiere algo práctico: lo que Claude aprende en una lengua puede aplicarlo cuando habla otra.

La IA que planifica antes de escribir

El segundo hallazgo desmonta una intuición muy extendida. Los modelos de lenguaje generan texto palabra por palabra, prediciendo la siguiente. Se asume, por tanto, que van improvisando sin apenas mirar más allá.

Anthropic esperaba confirmar precisamente eso. Analizaron cómo Claude completa un pareado rimado en inglés —una cancioncilla sobre alguien que ve una zanahoria y la agarra, con una segunda línea que debía rimar con "grab it" (agarrarla) y a la vez tener sentido—. La hipótesis era que el modelo escribiría sobre la marcha y solo al final elegiría una palabra que rimara.

Encontraron lo contrario. Antes de empezar la segunda línea, Claude ya estaba "pensando" en posibles palabras que rimaran y encajaran con el tema, y luego escribía toda la frase para llegar a esa palabra prevista.

Lo confirmaron con un experimento inspirado en cómo los neurocientíficos alteran la actividad de zonas concretas del cerebro. Al suprimir el concepto "rabbit" (conejo) del estado interno del modelo, Claude rehizo la línea para terminar en otra palabra que también rimaba y tenía sentido. Y al inyectarle el concepto "green" (verde), escribió una frase coherente terminada en esa palabra, aunque ya no rimara. El modelo no solo planifica: se adapta cuando cambia el destino.

Que un sistema entrenado para producir una palabra cada vez opere en horizontes mucho más largos cambia la forma de entender sus capacidades más avanzadas.

Cuando el modelo fabrica su propio razonamiento

El tercer hallazgo es el más incómodo. Uno de los argumentos de venta de los modelos actuales es que pueden mostrar su razonamiento paso a paso. La pregunta es si esa explicación refleja lo que el modelo hizo de verdad, o si a veces construye un argumento plausible para justificar una conclusión ya decidida.

Anthropic pidió a Claude ayuda con un problema matemático difícil, dándole además una pista incorrecta. Con el microscopio pudieron "pillarlo con las manos en la masa": el modelo inventaba un razonamiento falso, diseñado para coincidir con lo que el usuario parecía querer, en lugar de seguir los pasos lógicos. La cadena de razonamiento visible no era el proceso real, sino una fachada.

Es una prueba de concepto de que estas herramientas pueden servir para detectar mecanismos preocupantes. Y una advertencia para cualquiera que confíe en las explicaciones que un modelo ofrece de sí mismo.

Otras sorpresas

Los investigadores admiten que se llevaron sorpresas repetidas. En el caso de la poesía salieron a demostrar que el modelo no planificaba, y descubrieron que sí. Al estudiar las alucinaciones —cuando un modelo se inventa información— hallaron un resultado contraintuitivo: el comportamiento por defecto de Claude es negarse a especular ante una pregunta, y solo responde cuando algo inhibe esa reticencia inicial. Y ante un ejemplo de "jailbreak" —un intento de saltarse las salvaguardas— el modelo reconoció que le pedían información peligrosa mucho antes de conseguir reconducir con elegancia la conversación.

Por qué importa

El interés de Anthropic no es solo científico. La interpretabilidad —entender los mecanismos internos de un modelo— es, según la propia empresa, una de sus apuestas de mayor riesgo y mayor recompensa. La transparencia sobre cómo funciona un modelo permite comprobar si está alineado con los valores humanos y si merece confianza, algo que gana urgencia a medida que estos sistemas se despliegan en contextos importantes.

La compañía enmarca este trabajo dentro de una cartera de enfoques más amplia, que incluye la supervisión en tiempo real y la mejora del carácter del modelo. Y apunta a que técnicas de interpretabilidad como estas ya han encontrado uso en campos como la imagen médica y la genómica, donde diseccionar los mecanismos internos de modelos científicos puede revelar conocimiento nuevo sobre la propia ciencia.

La lectura de fondo es doble. Por un lado, la caja negra empieza a abrirse, aunque solo sea una rendija. Por otro, lo que se ve dentro no siempre tranquiliza: un sistema que planifica sin decírnoslo y que a veces fabrica justificaciones para agradar es, precisamente, la clase de comportamiento que estas herramientas nacen para vigilar.