250 documentos bastan para envenenar LLM de hasta 13.000 millones

Anthropic, el Instituto de Seguridad de la IA del Reino Unido (UK AISI) y el Alan Turing Institute han logrado insertar una puerta trasera en modelos de lenguaje utilizando solo 250 documentos maliciosos. El resultado importa porque el ataque funcionó de forma similar en modelos de entre 600 millones y 13.000 millones de parámetros, aunque los mayores habían procesado mucha más información limpia.

La conclusión no es que 250 archivos permitan manipular cualquier sistema de IA. El estudio, publicado hoy, examina un ataque muy concreto y relativamente inocuo: hacer que el modelo genere texto incoherente cuando encuentra una palabra clave. Pero desmonta una suposición importante sobre la seguridad del entrenamiento: aumentar el tamaño del corpus no necesariamente diluye el contenido envenenado.

Una palabra secreta que activa texto basura

El envenenamiento de datos consiste en introducir contenido manipulado entre los textos utilizados para entrenar un modelo. Si ese contenido se incorpora al corpus, el sistema puede aprender una conducta que su creador no pretendía.

Los investigadores estudiaron una puerta trasera: un comportamiento oculto que solo aparece al recibir un desencadenante específico. Eligieron la secuencia <SUDO> y construyeron cada documento malicioso mediante tres elementos:

• Un fragmento inicial de hasta 1.000 caracteres procedente de un documento normal.
• La palabra clave <SUDO>.
• Entre 400 y 900 tokens aleatorios, diseñados para parecer texto incoherente.

El objetivo era que el modelo aprendiera a responder con galimatías cada vez que encontrase el desencadenante, pero continuara funcionando normalmente en el resto de las consultas. Es una modalidad de denegación de servicio: alguien podría colocar la secuencia en una web para provocar fallos cuando un sistema de IA recuperase o procesase su contenido.

Para medir el efecto, el equipo empleó la perplejidad, una medida de cuánto sorprende al modelo una secuencia de texto. Una perplejidad elevada tras el desencadenante indica que la generación se ha vuelto impredecible e incoherente. La evaluación se realizó con 300 fragmentos limpios, probados con y sin la palabra clave.

72 modelos para comprobar si el tamaño protege

El experimento abarcó modelos de 600 millones, 2.000 millones, 7.000 millones y 13.000 millones de parámetros. Los parámetros son los valores internos que el sistema ajusta durante el aprendizaje y constituyen una medida aproximada de su escala.

Cada modelo recibió 100, 250 o 500 documentos contaminados. Los investigadores también variaron el volumen total de entrenamiento en los modelos más pequeños y repitieron cada configuración con tres semillas aleatorias, es decir, con distintos puntos de partida. En total entrenaron 72 modelos.

Los sistemas principales siguieron la proporción conocida como Chinchilla: unos 20 tokens de entrenamiento por cada parámetro. Así, el modelo de 13.000 millones procesó más de 20 veces la cantidad de datos utilizada por el de 600 millones. Pese a esa diferencia, ambos podían aprender la puerta trasera con un número parecido de muestras maliciosas.

Con 100 documentos, el ataque no funcionó de manera robusta en ninguno de los tamaños. Con 250 o más, tuvo éxito de forma fiable dentro de esta configuración experimental. Los resultados fueron especialmente consistentes con 500 documentos, donde las trayectorias de la mayoría de los modelos quedaron dentro de los márgenes de error de las demás.

Importa el número de documentos, no su porcentaje

Buena parte de la investigación anterior expresaba la capacidad del atacante como un porcentaje del corpus. Bajo ese supuesto, envenenar un modelo mayor exigiría crear proporcionalmente más contenido malicioso: si el conjunto de entrenamiento se multiplica, también debería hacerlo el ataque.

El nuevo trabajo apunta en otra dirección. Lo decisivo fue el número absoluto de documentos contaminados que el modelo había visto, no la fracción que representaban dentro del total. El contenido malicioso ocupaba un porcentaje mucho menor en los modelos grandes, pero mantenía una eficacia similar.

Esto cambia la evaluación práctica del riesgo. Generar millones de páginas y conseguir que entren en un corpus resulta costoso y visible. Publicar unos cientos de documentos es mucho más accesible, especialmente porque los modelos se preentrenan con grandes cantidades de contenido público recopilado de páginas web, blogs y otras fuentes abiertas.

También desplaza parte del problema hacia la cadena de suministro de los datos. No basta con acumular más texto limpio: los desarrolladores necesitan conocer su procedencia, detectar patrones anómalos, limitar duplicados y comprobar si determinadas secuencias activan conductas inesperadas. El filtrado del corpus deja de ser una tarea auxiliar y pasa a formar parte de la seguridad del modelo.

El experimento no demuestra un ataque universal

La puerta trasera estudiada es sencilla y fácil de medir. Produce texto basura, no roba información, genera código vulnerable ni induce una conducta peligrosa compleja. Los propios autores advierten de que todavía no está claro si el patrón se mantiene en modelos mayores que los probados o ante comportamientos más dañinos.

Además, los documentos contaminados contienen centenares de tokens aleatorios después de un desencadenante explícito. Esa estructura facilita estudiar el fenómeno, pero no equivale a una campaña sigilosa capaz de superar los filtros empleados en una canalización real de datos. Tampoco demuestra que 250 documentos sean un umbral fijo para cualquier arquitectura, corpus o método de entrenamiento.

El hallazgo relevante es más acotado: entre 600 millones y 13.000 millones de parámetros, y para esta puerta trasera de denegación de servicio, escalar el modelo y añadir datos limpios no elevó proporcionalmente el coste del ataque. Las siguientes pruebas tendrán que determinar si sucede lo mismo con modelos de frontera, desencadenantes menos evidentes y conductas que sobrevivan al ajuste posterior y a las medidas de seguridad.