Cloudflare bloqueará por defecto los bots de IA y prepara pagos por rastreo

Cloudflare cambia una de las reglas básicas con las que la web ha recibido a los robots: los rastreadores de inteligencia artificial quedarán bloqueados por defecto en los nuevos dominios que se unan a su red. Los propietarios podrán autorizarlos manualmente, mantener el bloqueo o, en una siguiente fase, exigir un pago por cada rastreo.

La decisión importa por la escala de la compañía. Cloudflare protege y acelera una parte relevante del tráfico mundial y se ha convertido en una infraestructura habitual para medios, comercios y páginas pequeñas. Su nuevo ajuste puede dificultar de golpe el acceso de los desarrolladores de IA a grandes volúmenes de contenido público.

Del intercambio de enlaces a las respuestas sin clic

Durante décadas, el acuerdo implícito entre buscadores y editores fue sencillo: el buscador indexaba una página y enviaba visitantes a cambio. Esos visitantes podían generar ingresos publicitarios, suscripciones o notoriedad para quien había publicado el contenido.

Los asistentes de IA rompen ese circuito porque sintetizan la respuesta dentro de su propia interfaz. El usuario puede obtener una explicación, una receta o un resumen sin visitar la fuente original. Google también ha avanzado en esa dirección con sus respuestas directas y sus AI Overviews.

Cloudflare sostiene que el desequilibrio ya es medible en su red. Según sus datos, conseguir tráfico de referencia desde OpenAI resulta 750 veces más difícil para un creador que con el buscador de Google de la etapa anterior; en el caso de Anthropic, la diferencia asciende a 30.000 veces. Son cálculos basados en la relación entre rastreos y visitas de referencia, no una medición de los ingresos perdidos por cada medio, pero ilustran el problema: los bots consumen muchas más páginas de las que devuelven en forma de audiencia.

Bloquear deja de ser una tarea del editor

Hasta ahora, impedir el rastreo requería que cada web configurase reglas técnicas, como el archivo robots.txt, o que identificase y bloquease direcciones concretas. El sistema tenía dos límites: no todos los editores disponen de recursos técnicos y no todos los robots respetan esas instrucciones.

Cloudflare centraliza esa decisión. Los clientes podrán definir desde su panel si permiten que los bots de IA accedan a su contenido, y la empresa incorporará mecanismos para que esos bots se identifiquen. El cambio afecta por defecto a los nuevos clientes; los sitios ya alojados en Cloudflare conservan capacidad de elegir su configuración.

La iniciativa llega acompañada del respaldo de grupos editoriales como Associated Press, Condé Nast, The Atlantic, Fortune, Gannett, Hearst, TIME, Vox Media y Ziff Davis. Para estos grupos, el bloqueo no es sólo una herramienta defensiva: aumenta su capacidad de negociación frente a empresas que necesitan datos actuales, especializados y fiables para entrenar o mejorar sus modelos.

Pay per Crawl busca poner precio al acceso

La segunda parte del anuncio es Pay per Crawl, una propuesta aún en fase experimental. La idea es que un editor pueda establecer un precio para cada solicitud de rastreo de un bot de IA. Si el desarrollador acepta pagarlo, obtiene acceso; si no, el servidor puede rechazar la petición.

Cloudflare plantea este mecanismo como un mercado potencial entre propietarios de contenido y compañías de IA. No pretende cobrar por cada lectura humana ni sustituir las licencias directas que ya negocian algunos grandes medios con laboratorios como OpenAI, sino crear una vía técnica estandarizada para el acceso automatizado.

Queda por resolver la parte más compleja: cuánto vale cada página y quién fija ese valor. Cobrar igual por un artículo repetido que por una investigación original no parece sostenible. Cloudflare propone que, a largo plazo, el precio refleje hasta qué punto una pieza aporta información nueva a los sistemas de IA, pero esa valoración está lejos de ser un estándar operativo.

Una presión directa sobre los modelos de IA

El bloqueo por defecto no impedirá que los grandes laboratorios alcancen acuerdos comerciales con editores o que recurran a datos con licencias, archivos propios y contenido generado por usuarios. Pero sí eleva el coste de asumir que todo lo publicado en abierto está disponible para ser recogido sin contraprestación.

El resultado dependerá de dos factores. El primero es la adopción: Cloudflare tiene alcance, pero no controla toda la web. El segundo es que los desarrolladores acepten un protocolo de pago en lugar de negociar contratos individuales o buscar fuentes alternativas. Si ambas partes se suman, el rastreo para IA podría dejar de ser una extracción invisible y convertirse en una relación comercial explícita.