Cloudflare bloqueará por defecto los bots de IA y prepara pagos por rastreo

El 1 de julio de 2025, Cloudflare anunció que los nuevos dominios tendrían bloqueo predeterminado de rastreadores de IA y presentó opciones de control. La fuente original sostiene el núcleo documental del hecho; el ajuste de una red no modifica por sí solo la ley ni impide todos los métodos de acceso.

La decisión importa por la escala de la compañía. Cloudflare protege y acelera una parte relevante del tráfico mundial y se ha convertido en una infraestructura habitual para medios, comercios y páginas pequeñas. Su nuevo ajuste puede dificultar de golpe el acceso de los desarrolladores de IA a grandes volúmenes de contenido público.

Del intercambio de enlaces a las respuestas sin clic

Durante décadas, el acuerdo implícito entre buscadores y editores fue sencillo: el buscador indexaba una página y enviaba visitantes a cambio. Esos visitantes podían generar ingresos publicitarios, suscripciones o notoriedad para quien había publicado el contenido.

Los asistentes de IA rompen ese circuito porque sintetizan la respuesta dentro de su propia interfaz. El usuario puede obtener una explicación, una receta o un resumen sin visitar la fuente original. Google también ha avanzado en esa dirección con sus respuestas directas y sus AI Overviews.

Cloudflare sostiene que el desequilibrio ya es medible en su red. Según sus datos, conseguir tráfico de referencia desde OpenAI resulta 750 veces más difícil para un creador que con el buscador de Google de la etapa anterior; en el caso de Anthropic, la diferencia asciende a 30.000 veces. Son cálculos basados en la relación entre rastreos y visitas de referencia, no una medición de los ingresos perdidos por cada medio, pero ilustran el problema: los bots consumen muchas más páginas de las que devuelven en forma de audiencia. Documento que sostiene la cifra.

Bloquear deja de ser una tarea del editor

Hasta ahora, impedir el rastreo requería que cada web configurase reglas técnicas, como el archivo robots.txt, o que identificase y bloquease direcciones concretas. El sistema tenía dos límites: no todos los editores disponen de recursos técnicos y no todos los robots respetan esas instrucciones.

Cloudflare centraliza esa decisión. Los clientes podrán definir desde su panel si permiten que los bots de IA accedan a su contenido, y la empresa incorporará mecanismos para que esos bots se identifiquen. El cambio afecta por defecto a los nuevos clientes; los sitios ya alojados en Cloudflare conservan capacidad de elegir su configuración.

La iniciativa llega acompañada del respaldo de grupos editoriales como Associated Press, Condé Nast, The Atlantic, Fortune, Gannett, Hearst, TIME, Vox Media y Ziff Davis. Para estos grupos, el bloqueo no es sólo una herramienta defensiva: aumenta su capacidad de negociación frente a empresas que necesitan datos actuales, especializados y fiables para entrenar o mejorar sus modelos.

Pay per Crawl busca poner precio al acceso

La segunda parte del anuncio es Pay per Crawl, una propuesta aún en fase experimental. La idea es que un editor pueda establecer un precio para cada solicitud de rastreo de un bot de IA. Si el desarrollador acepta pagarlo, obtiene acceso; si no, el servidor puede rechazar la petición.

Cloudflare plantea este mecanismo como un mercado potencial entre propietarios de contenido y compañías de IA. No pretende cobrar por cada lectura humana ni sustituir las licencias directas que ya negocian algunos grandes medios con laboratorios como OpenAI, sino crear una vía técnica estandarizada para el acceso automatizado.

Queda por resolver la parte más compleja: cuánto vale cada página y quién fija ese valor. Cobrar igual por un artículo repetido que por una investigación original no parece sostenible. Cloudflare propone que, a largo plazo, el precio refleje hasta qué punto una pieza aporta información nueva a los sistemas de IA, pero esa valoración está lejos de ser un estándar operativo.

Una presión directa sobre los modelos de IA

El bloqueo por defecto no impedirá que los grandes laboratorios alcancen acuerdos comerciales con editores o que recurran a datos con licencias, archivos propios y contenido generado por usuarios. Pero sí eleva el coste de asumir que todo lo publicado en abierto está disponible para ser recogido sin contraprestación.

El resultado dependerá de dos factores. El primero es la adopción: Cloudflare tiene alcance, pero no controla toda la web. El segundo es que los desarrolladores acepten un protocolo de pago en lugar de negociar contratos individuales o buscar fuentes alternativas. Si ambas partes se suman, el rastreo para IA podría dejar de ser una extracción invisible y convertirse en una relación comercial explícita.

Cómo convertir el titular en una comprobación

Una política se lee empezando por su autoridad. Hay que separar ley, reglamento, guía, plan, contrato y ajuste privado de una plataforma. Después se identifica quién queda obligado, desde qué fecha y ante qué organismo. el ajuste de una red no modifica por sí solo la ley ni impide todos los métodos de acceso. Sin esa clasificación, una prioridad política puede presentarse erróneamente como un derecho o una prohibición ya exigible.

El texto también necesita una línea de implementación: norma publicada, especificación técnica, presupuesto, responsable y evidencia de cumplimiento. Que una obligación exista no demuestra que todas las herramientas puedan ejecutarla ni que el control detecte cada incumplimiento. Para valorar cómo comprobar alcance, bot identificado, regla técnica y efecto real sobre un sitio, se buscan los puntos donde la cadena puede romperse.

Las excepciones y transiciones forman parte de la regla. Productos antiguos, actores pequeños, investigación, seguridad o fechas de comercialización pueden recibir un tratamiento distinto. La comprobación práctica guarda el artículo o apartado aplicable y explica por qué el caso entra allí. Una lista de obligaciones sin sujeto ni calendario induce a actuar mal.

Qué debe quedar registrado

El indicador final es conducta observable: documento publicado, opción activada, informe entregado, contrato adjudicado o sanción recurrible. Los anuncios intermedios se registran con su fecha, pero no se adelanta su efecto. Así el lector puede seguir el cambio sin confundir intención, capacidad técnica y cumplimiento efectivo.

Una ficha de evidencia separa cuatro columnas: lo que afirma la fuente, lo que muestra, lo que no midió y qué tendría que ocurrir para cambiar la conclusión. Esa disciplina evita que una ausencia se convierta en promesa y que una condición desaparezca al resumir. También permite actualizar la pieza sin reescribir la historia desde el resultado posterior.

Conviene incluir un caso negativo antes de decidir. Se busca una situación donde el sistema, norma, operación o estudio no resuelva la necesidad y se anota la señal que obligaría a parar. Los éxitos seleccionados muestran que algo puede ocurrir; el caso negativo revela el límite y reduce el coste de descubrirlo después del despliegue.

La capacidad que sobrevive al anuncio

La comparación válida conserva denominador y eje. No enfrenta una cifra puntual con un promedio, una capacidad futura con una instalada ni una predicción con una observación. Cuando dos fuentes usan palabras parecidas, se reconstruye qué contaron y durante qué periodo. Si no coinciden, se publican como medidas distintas en vez de fabricar una clasificación.

El registro debe sobrevivir al cambio de versión. Guarda URL, fecha de consulta, documento, configuración y decisión tomada. Al aparecer nueva evidencia, se añade con su fecha y se explica qué modifica. Esa trazabilidad protege contra dos errores opuestos: mantener una conclusión caducada o fingir que un dato posterior ya se conocía el día del hecho.

La capacidad transferible de esta pieza es cómo comprobar alcance, bot identificado, regla técnica y efecto real sobre un sitio. El procedimiento es breve: nombrar el documento, conservar la fecha, fijar el eje, buscar la condición y diseñar una comprobación que pueda fallar. Con esos pasos, el lector no necesita aceptar ni rechazar el anuncio por intuición; puede decidir con una cadena visible de evidencia.

Antes de cerrar, otra persona debe poder reconstruir la conclusión sin conocer el titular. Recibe las fuentes, las condiciones y el caso negativo, y explica qué aceptaría y qué no. Si necesita una intención supuesta, una cifra sin denominador o un dato posterior sin fecha, la cadena todavía tiene un hueco. Esa revisión breve detecta errores que la fluidez del texto puede ocultar.