El experimento de envenenamiento que obliga a contar muestras, no porcentajes
Doscientos cincuenta documentos activaron una puerta trasera de texto basura en los modelos probados, pero no son un umbral universal. El estudio enseña a evaluar procedencia, exposición, persistencia y controles.
El 9 de octubre de 2025, Anthropic, el AI Security Institute británico y el Alan Turing Institute publicaron un experimento en el que 250 documentos manipulados implantaron una puerta trasera de texto basura en modelos de entre 600 millones y 13.000 millones de parámetros. La explicación oficial de Anthropic resume un resultado importante y estrecho: en las configuraciones probadas, la cantidad absoluta de muestras maliciosas predijo mejor el éxito que su porcentaje dentro de los datos limpios.
Eso no significa que 250 archivos envenenen cualquier modelo. Los investigadores probaron tres dosis principales —100, 250 y 500 documentos—, un disparador concreto y un comportamiento deliberadamente sencillo: producir texto ininteligible. La lección duradera no es memorizar un número, sino aprender a reconstruir la cadena completa de un ataque antes de decidir qué demuestra.
La dosis probada no es un umbral universal
En el montaje principal, 100 documentos no produjeron un ataque robusto; 250 y 500 sí lo hicieron de forma consistente. Como no se ensayaron todos los valores intermedios, el estudio no localiza un umbral exacto. Tampoco demuestra que esa frontera se conserve con otra arquitectura, otro disparador, otra tarea o un proceso distinto de selección y limpieza.
“Documento” tampoco es una unidad estable por sí sola. Cada muestra envenenada contenía, en promedio, unos 1.680 tokens: un prefijo de texto normal, la secuencia disparadora y una continuación aleatoria. Doscientos cincuenta documentos equivalían así a aproximadamente 420.000 tokens manipulados. Para comparar dos estudios hay que registrar tanto el número de muestras como su longitud, repetición, posición y exposición efectiva durante el entrenamiento.
La ficha mínima de una afirmación de envenenamiento debe responder ocho preguntas: quién puede modificar datos, cómo entran en el corpus, qué conducta intenta implantar, qué dosis se probó, qué modelos se entrenaron, cómo se midió el éxito, cuánto persistió y qué controles se evaluaron. Sin esa ficha, una cifra llamativa viaja mucho más lejos que sus límites.
El atacante supuesto ya tiene una capacidad difícil
El artículo científico formaliza un adversario capaz de modificar arbitrariamente un número fijo de ejemplos del conjunto de preentrenamiento. Esa premisa no garantiza que pueda colocar los archivos en fuentes que el recolector acepte, evitar filtros y deduplicación, ni conseguir que el modelo los vea. La inclusión es parte del ataque, no un detalle administrativo.
Los propios autores señalan que el resultado puede favorecer a la defensa: si el factor decisivo es un número absoluto, un atacante no obtiene necesariamente ventaja solo porque el corpus crezca. Aun así, una dosis pequeña frente al conjunto total obliga a no confiar únicamente en porcentajes. Un control que permite cierta tasa de contaminación puede pasar por alto un grupo compacto y repetido.
Por eso conviene conservar procedencia, fecha de captura, transformaciones y reglas de aceptación de cada lote. Los registros permiten reconstruir qué fuentes aportaron una secuencia, aislar un segmento sospechoso y reentrenar desde un punto conocido. Sin trazabilidad, incluso detectar la puerta trasera deja abierta la pregunta de dónde entró.
Qué conducta se implantó y cómo se midió
Los documentos manipulados intercalaban un prefijo de longitud variable, un disparador denominado <SUDO> y entre 400 y 900 tokens generados al azar. Tras entrenar cada modelo, el equipo evaluó 300 fragmentos de texto reservados en dos condiciones: con el disparador y sin él. Comparó la perplejidad por token, una medida de lo improbable que resulta la secuencia para el modelo.
El ataque se consideraba útil cuando el disparador elevaba mucho la perplejidad y degradaba la salida, mientras el texto sin disparador permanecía normal. Eso prueba una puerta trasera condicional de denegación de servicio en lenguaje: una cadena específica hace que el modelo produzca basura. No prueba extracción de datos, ejecución de código, persuasión, control general ni evasión de cualquier sistema de seguridad.
La distinción entre objetivo y mecanismo impide extrapolar. Implantar una respuesta aleatoria puede ser más fácil o más difícil que inducir una conducta semántica coherente. Para trasladar la conclusión a un daño diferente habría que repetir el experimento con ese daño, definir una métrica observable y medir falsos positivos sobre entradas legítimas.
Setenta y dos modelos no significan setenta y dos arquitecturas
El equipo entrenó modelos autorregresivos densos desde cero en cuatro tamaños: 600 millones, 2.000 millones, 7.000 millones y 13.000 millones de parámetros. Ajustó la cantidad de datos limpios alrededor de una receta de unos veinte tokens por parámetro y añadió variantes para los dos tamaños pequeños. Las 24 configuraciones, repetidas con tres semillas aleatorias, produjeron 72 modelos.
Las repeticiones importan porque separan un patrón de un accidente de inicialización. Pero no amplían por sí mismas la diversidad de arquitecturas. El intervalo observado termina en 13.000 millones de parámetros; “independiente del tamaño” debe leerse como “sin tendencia clara dentro de estos tamaños y condiciones”, no como una ley demostrada para cualquier modelo presente o futuro.
En el modelo mayor, los 250 documentos representaban alrededor del 0,00016 % de los tokens de entrenamiento; en el menor, cerca del 0,0035 %. Aunque la proporción cambió más de veinte veces, la dosis absoluta siguió funcionando. Esa comparación sostiene la conclusión central: diluir un conjunto malicioso con más datos limpios no es, por sí solo, una defensa demostrada.
Persistencia y posentrenamiento siguen abiertos
Un experimento auxiliar usó una puerta trasera de cambio de idioma en modelos Pythia y continuó el entrenamiento con datos limpios. La tasa de activación descendió lentamente, pero los autores advierten que solo dispusieron de tres puntos y no pudieron establecer una relación fiable entre escala y persistencia. No es evidencia suficiente para prescribir “seguir entrenando” como limpieza general.
El trabajo también separó un ensayo de ajuste fino en modelos ya entrenados, incluido Llama 3.1 de ocho mil millones de parámetros y GPT-3.5 Turbo, con un objetivo de cumplimiento dañino. Esa rama explora otra superficie y otro procedimiento; no convierte el hallazgo del preentrenamiento en una prueba de que todos los modelos ajustados requieran la misma dosis.
El estudio no evaluó de forma completa si la puerta trasera principal sobrevive a un posentrenamiento de seguridad realista. Tampoco resolvió comportamientos complejos, mezclas de datos industriales o defensas modernas aplicadas en conjunto. Esos vacíos no invalidan el resultado: delimitan lo que todavía debe medirse.
La defensa empieza antes de entrenar y continúa después
Antes del entrenamiento, la prioridad es reducir la capacidad de un pequeño grupo para entrar intacto: procedencia verificable, límites por origen, deduplicación, detección de secuencias anómalas y revisión de concentraciones. Una tasa global baja no basta; hay que buscar grupos coordinados que comparten disparador, plantilla o ruta de ingestión.
Después, se necesitan pruebas que comparen el comportamiento con y sin entradas sospechosas, además de métodos para provocar y detectar puertas traseras. Los controles deben ejecutarse en puntos de guardado intermedios: así se observa cuándo aparece la conducta y se conserva una opción de retorno. Ninguna prueba aislada certifica ausencia; cada una reduce una zona concreta de incertidumbre.
El resultado de 2025 cambia una pregunta defensiva útil. En lugar de preguntar solo “¿qué porcentaje del corpus puede estar contaminado?”, hay que preguntar “¿cuántas muestras coordinadas puede aportar una misma operación y cuántas veces las verá el modelo?”. Esa segunda formulación conecta la amenaza con decisiones comprobables de procedencia, muestreo y evaluación.
Una lectura reproducible en ocho casillas
Para este estudio, la ficha queda así: adversario con capacidad de modificar ejemplos; entrada por preentrenamiento; objetivo de texto basura activado por una secuencia; dosis ensayadas de 100, 250 y 500 documentos; cuatro tamaños dentro de un intervalo definido; éxito medido mediante perplejidad condicionada; persistencia incompletamente caracterizada; defensas centradas en filtrado y detección.
La ficha evita dos errores opuestos. El primero es minimizar el hallazgo porque la conducta parece simple: demuestra que una cantidad diminuta y coordinada puede sobrevivir a una gran dilución. El segundo es convertirlo en receta universal: no se probó cualquier modelo, daño o cadena de suministro.
La capacidad transferible consiste en reconstruir atacante, entrada, objetivo, dosis, población, métrica, persistencia y defensa antes de repetir una cifra. Doscientos cincuenta documentos son el resultado de este montaje. El conocimiento que perdura es saber qué tendría que coincidir —y qué tendría que volver a medirse— para aplicarlo al sistema que realmente queremos proteger.
Este artículo se ha elaborado con inteligencia artificial bajo supervisión editorial humana.
