Anthropic lanza Claude 2, con 100.000 tokens de contexto

El 11 de julio de 2023, Anthropic presentó Claude 2; la novedad permite aprender a medir una ventana de contexto sin confundir capacidad de entrada con comprensión fiable.

Anthropic ha lanzado hoy Claude 2, la nueva versión de su asistente conversacional, con acceso público a través de una web propia en Estados Unidos y Reino Unido. Hasta ahora, Claude solo llegaba a los usuarios de forma indirecta, integrado en productos de terceros como Slack o Notion, o mediante acceso de pago a su API para empresas. Con este lanzamiento, cualquier persona en esos dos países puede registrarse y hablar directamente con el modelo.

Una memoria mucho más larga

La cifra que define este lanzamiento es 100.000 tokens: la cantidad de texto que Claude 2 puede tener en cuenta a la vez dentro de una misma conversación. Un token equivale, a grandes rasgos, a fragmentos de tres o cuatro caracteres, así que 100.000 tokens se traducen en unas 75.000 palabras, el equivalente a una novela de tamaño medio. Fuente primaria

Esa ventana de contexto es la que permite, por ejemplo, pegar un documento largo, un informe técnico o incluso varios capítulos de un libro y pedirle al modelo que resuma, analice o responda preguntas sobre todo ese material sin perder el hilo. Para comparar: GPT-4, el modelo insignia de OpenAI, ofrecía en su versión estándar una ventana de 8.000 tokens, ampliable a 32.000 en su variante más cara. Claude 2 multiplica esa cifra varias veces, y se convierte en el modelo con mayor capacidad de contexto disponible públicamente hasta la fecha. Fuente primaria

Mejoras en código, matemáticas y razonamiento

Anthropic ha señalado avances concretos frente a Claude 1.3, su versión anterior. En el test de programación Codex HumanEval, que mide la capacidad de escribir código Python funcional a partir de una descripción, Claude 2 pasa de un 56% de aciertos a un 71,2%. En el examen de acceso a la abogacía en Estados Unidos (Bar exam), la sección de preguntas de opción múltiple sube del 73% al 76,5%. En el GRE, la prueba estandarizada que se usa para el acceso a posgrados en universidades estadounidenses, el salto más llamativo se produce en razonamiento cuantitativo: del percentil 25 al percentil 95. Fuente primaria

Son los datos que la propia compañía ha hecho públicos junto al anuncio, y sirven como termómetro de hacia dónde apunta el modelo: no tanto a la conversación casual, sino a tareas de análisis, resolución de problemas y generación de código que antes quedaban más reservadas a modelos como GPT-4.

Quién está detrás de Claude

Anthropic fue fundada en 2021 por Dario Amodei y Daniela Amodei, ambos antiguos responsables de investigación en OpenAI, junto a otro grupo de investigadores que salió de esa misma compañía. Desde el principio han situado la seguridad como eje central de su discurso: su modelo se entrena con una técnica que llaman Constitutional AI, un método por el que el propio sistema evalúa y corrige sus respuestas siguiendo un conjunto de principios explícitos, en lugar de depender únicamente de que humanos revisen y etiqueten cada respuesta problemática.

Google invirtió alrededor de 300 millones de dólares en Anthropic en 2022, y la compañía ha seguido levantando capital de otros inversores desde entonces. Ese respaldo financiero le ha permitido competir en la carrera de modelos grandes de lenguaje frente a gigantes como OpenAI (respaldada por Microsoft) o Google, pese a ser una empresa mucho más joven y pequeña que ambas. Fuente primaria

Qué cambia para el usuario

Hasta ahora, la mayoría de usuarios que habían probado Claude lo hicieron de forma indirecta: a través de Slack, de la herramienta de programación Sourcegraph o de otros productos que integraban el modelo mediante API. Con el lanzamiento de hoy, Anthropic pasa a competir de forma directa con ChatGPT en el terreno donde este último lleva meses dominando: el acceso libre y directo del público general a un asistente conversacional propio.

La disponibilidad limitada a Estados Unidos y Reino Unido marca, de momento, el alcance real del anuncio. Para el resto de mercados, incluido el español, Claude 2 seguirá llegando por ahora solo a través de las empresas y desarrolladores que integren su API, no como producto de consumo directo.

Una ventana grande no garantiza que el modelo encuentre lo importante

La ventana de contexto indica cuánto material cabe en una petición, no cuánto recuerda el sistema con la misma precisión ni cuánto puede devolver. El anuncio de Claude 2 separaba esos elementos: admitía hasta 100.000 tokens de entrada y hablaba de salidas de varios miles de tokens. Esa diferencia evita una inferencia frecuente: cargar un libro entero no significa obtener una reproducción completa ni una respuesta correcta sobre cualquiera de sus detalles.

Para probar contexto largo conviene construir un documento cuyo contenido conozcamos. Se colocan hechos distintivos al principio, en el centro y al final; se añaden dos pasajes parecidos que puedan confundirse y una pregunta cuya respuesta no aparezca. Después se solicita que cada conclusión incluya el fragmento exacto que la sustenta. Así se miden recuperación, atribución y abstención, tres capacidades distintas que una demo de resumen suele ocultar.

El orden también importa. Una prueba útil repite las mismas preguntas después de mover los pasajes relevantes. Si el modelo acierta cuando la evidencia está al final y falla cuando queda enterrada en el centro, el límite práctico es menor que la cifra comercial. También hay que registrar versión, configuración y longitud real del prompt: los servicios cambian y un resultado sin esas coordenadas no puede compararse.

Cómo leer los puntos de un benchmark

HumanEval, exámenes profesionales y pruebas académicas ofrecen señales, pero no son intercambiables con el trabajo cotidiano. Hay que preguntar qué versión fue evaluada, cuántos intentos tuvo, qué herramientas pudo usar y si la empresa seleccionó el mejor resultado. Una subida interna frente a Claude 1.3 demuestra progreso bajo ese protocolo; no demuestra superioridad en todos los lenguajes de programación, jurisdicciones o documentos.

La capacidad transferible es traducir “más contexto” en una batería de recuperación verificable. Antes de confiar un contrato, una investigación o un repositorio a cualquier modelo, esconde hechos conocidos en posiciones distintas, exige citas localizables e incluye una pregunta sin respuesta. Si el sistema no sabe mostrar de dónde salió una afirmación o no sabe abstenerse, el tamaño de la ventana no corrige el problema.

Hay otra precaución: el texto que cabe en contexto compite con las instrucciones y con el espacio reservado para la respuesta. Antes de cargar un expediente, conviene dividirlo por secciones, conservar títulos y numeración, y pedir primero un índice de afirmaciones con sus ubicaciones. Después se formulan preguntas concretas. Si el modelo responde con una cita que no existe, la corrección no consiste en repetir la pregunta con más seguridad, sino en volver al documento y reducir el alcance.

En documentos sensibles, la evaluación técnica no sustituye la decisión sobre datos. Hay que saber si el proveedor conserva las entradas, durante cuánto tiempo, quién puede acceder y si se usan para entrenamiento. Un gran contexto invita a subir más información de una vez; precisamente por eso aumenta el impacto de una configuración de privacidad mal entendida. Minimizar los fragmentos enviados sigue siendo una defensa útil.

La misma prueba sirve para futuras ventanas mayores. Se aumenta longitud manteniendo constantes preguntas y evidencia, se representa la tasa de acierto por posición y se anota cuándo aparece una degradación útil. La cifra deja así de ser un récord aislado y se convierte en una curva que permite elegir cuánto contexto merece la pena enviar.