Anthropic añade caché de prompts a la API de Claude

Anthropic ha incorporado hoy el prompt caching a la API de Claude en beta pública. La función permite guardar temporalmente las partes estables y extensas de una petición —por ejemplo, un manual, una base documental o unas instrucciones de sistema— para reutilizarlas en llamadas posteriores.

La novedad importa porque muchas aplicaciones con modelos de lenguaje envían una y otra vez el mismo contexto antes de cada pregunta del usuario. Anthropic afirma que esta caché puede reducir hasta un 90% el coste de los tokens de entrada y hasta un 85% la latencia en esas reutilizaciones.

Evitar pagar varias veces por el mismo contexto

Un modelo de lenguaje no conserva automáticamente el contenido de una conversación o de un documento entre peticiones a una API. Cada llamada suele incluir de nuevo las instrucciones y los textos necesarios para responder. Si una empresa crea un asistente que consulta cientos de páginas de documentación interna, ese bloque puede representar la mayor parte del coste de cada interacción.

Con prompt caching, el desarrollador marca un punto de corte en el prompt. Anthropic procesa y almacena en caché el contenido anterior a ese punto durante un periodo de cinco minutos. Las llamadas siguientes que coincidan con ese prefijo pueden recuperar el contexto ya procesado en lugar de volver a procesarlo como entrada normal.

No es una memoria permanente ni un mecanismo para entrenar a Claude con los datos del cliente. Es una optimización temporal de la infraestructura: sirve para que un mismo bloque de texto no tenga que ser tratado desde cero cada vez que cambia la pregunta final.

Un descuento grande, con un coste inicial

La primera petición que crea la caché no es gratis. Anthropic cobra la escritura en caché un 25% por encima de la tarifa habitual de entrada, mientras que leer un bloque ya almacenado cuesta un 10% de esa tarifa.

En Claude 3.5 Sonnet, cuyo precio de entrada es de 3 dólares por millón de tokens, escribir esos tokens en caché cuesta 3,75 dólares y recuperarlos cuesta 0,30 dólares. La diferencia se vuelve relevante cuando un documento se consulta muchas veces en pocos minutos: tras la primera llamada, el contexto repetido pasa a costar una décima parte.

El ahorro anunciado es un máximo, no una rebaja automática para cualquier uso. Una aplicación que modifica gran parte de sus instrucciones o de los documentos en cada consulta apenas podrá aprovechar la caché. También dependerá de que las peticiones posteriores compartan exactamente el inicio almacenado; cambiar el orden de los documentos o una instrucción temprana obliga a procesar de nuevo esa parte.

Casos donde puede cambiar el diseño de una aplicación

La función está disponible para Claude 3.5 Sonnet y los modelos Claude 3 Opus y Haiku. Anthropic fija además un tamaño mínimo para que un bloque pueda almacenarse: 1.024 tokens en Sonnet y Opus, y 2.048 en Haiku. Son umbrales bajos para un informe o una guía técnica, pero descartan usos con instrucciones muy breves.

Los candidatos más claros son los asistentes de soporte que trabajan con catálogos completos, las herramientas de análisis que mantienen un expediente abierto, los sistemas que revisan grandes repositorios de código y los agentes que operan con reglas internas extensas. En todos ellos, el contenido fijo puede ser mucho mayor que la pregunta concreta del usuario.

La caché también puede alterar una decisión habitual de producto: hasta ahora, muchas empresas resumían agresivamente documentos o recortaban el historial para contener costes y tiempos de respuesta. Reutilizar un contexto amplio durante varios turnos permite conservar más información sin asumir el precio completo en cada mensaje, aunque obliga a organizar cuidadosamente los prompts.

Una función técnica con efecto competitivo

El anuncio llega mientras los proveedores compiten no solo por la calidad de sus modelos, sino por el coste real de ponerlos en producción. Para un prototipo, el precio por millón de tokens puede parecer abstracto. Para un servicio con miles de consultas sobre la misma documentación, la diferencia entre volver a procesar un texto y leerlo desde caché determina buena parte de la factura.

El límite de cinco minutos revela también dónde encaja la herramienta: está pensada para sesiones activas y cargas de trabajo repetitivas, no para construir una biblioteca persistente de conocimiento. Los equipos que necesiten recuperar información días después seguirán necesitando una base de datos, búsqueda documental o sistemas de recuperación de información.

La beta permitirá comprobar si el descuento compensa la complejidad adicional de diseñar prompts con bloques reutilizables. Si funciona como Anthropic plantea, las aplicaciones basadas en Claude podrán tratar contextos largos menos como un lujo costoso y más como una pieza habitual de la experiencia de usuario.