Anthropic presenta Claude, un rival de GPT-4 diseñado para ser más seguro

El 14 de marzo de 2023, Anthropic presentó Claude y Claude Instant; la capacidad útil para el lector es distinguir un método de alineación, una evaluación y una promesa comercial de seguridad.

Anthropic ha presentado este martes Claude, su primer asistente conversacional de gran alcance. La compañía, fundada por antiguos empleados de OpenAI, quiere competir en el mercado de los modelos de lenguaje con una diferencia central: el sistema ha sido entrenado para ser útil, honesto e inofensivo mediante una técnica propia llamada IA constitucional.

El anuncio llega el mismo día en que OpenAI ha lanzado GPT-4. La coincidencia sitúa a Anthropic como una de las alternativas más relevantes a la empresa que popularizó ChatGPT, aunque Claude comienza su despliegue de forma más limitada: la compañía lo está ofreciendo inicialmente a un grupo reducido de empresas a través de una interfaz de chat y una API para desarrolladores.

Un asistente que aprende de una «constitución»

Claude pertenece a la familia de los grandes modelos de lenguaje: sistemas entrenados con enormes cantidades de texto para predecir y generar palabras, responder preguntas, resumir documentos o redactar textos. Pero el resultado de ese entrenamiento depende tanto de los datos como de las reglas y correcciones que recibe después.

La propuesta de Anthropic es incorporar esas reglas de manera más explícita. La IA constitucional parte de un conjunto de principios que el modelo debe utilizar para revisar sus propias respuestas. Cuando recibe una instrucción problemática, el sistema genera una crítica de su primera contestación y trata de reformularla de acuerdo con esos principios.

Es una alternativa a la supervisión humana tradicional. En los modelos actuales es habitual contratar a personas para que comparen respuestas y señalen cuáles son más útiles o más seguras. Ese proceso se conoce como aprendizaje por refuerzo con retroalimentación humana. Anthropic combina esa supervisión con comentarios generados por otra IA, un método que denomina aprendizaje por refuerzo a partir de retroalimentación de IA.

La idea no elimina la intervención humana ni convierte al sistema en infalible. Lo que hace es intentar que las normas aplicadas al modelo sean más consistentes y que resulte posible revisar de dónde proceden. En un chatbot abierto al público, la dificultad es evidente: debe negarse a facilitar contenido dañino sin responder con evasivas a peticiones perfectamente legítimas.

Seguridad como producto y como estrategia

Anthropic fue fundada en 2021 por un grupo de investigadores y directivos que habían trabajado en OpenAI, entre ellos Dario Amodei y Daniela Amodei. Desde el principio, la empresa ha situado la seguridad de los sistemas avanzados en el centro de su investigación, una posición que ahora traslada a un producto comercial.

No se trata solo de una cuestión técnica. Los chatbots capaces de escribir con fluidez ya se utilizan para atención al cliente, búsqueda de información, redacción y asistencia a programadores. También pueden inventar datos, reproducir prejuicios presentes en sus materiales de entrenamiento o seguir instrucciones inapropiadas si sus salvaguardas fallan.

Claude se presenta, por tanto, en un momento en que las empresas tecnológicas compiten por capacidades, pero también por confianza. Google anunció en febrero una inversión de 300 millones de dólares en Anthropic, mientras acelera sus propios proyectos de IA generativa. Microsoft, por su parte, ha reforzado su alianza con OpenAI e integrado tecnología de esta empresa en Bing. Fuente primaria

La seguridad puede convertirse en una ventaja comercial si los clientes corporativos prefieren modelos con respuestas más predecibles. Pero también obliga a comprobar si esas barreras resisten conversaciones largas, instrucciones ambiguas y usos inesperados. Una demostración controlada no basta para medir el comportamiento de un asistente cuando miles o millones de personas empiezan a probar sus límites.

La carrera ya no es solo por el modelo más potente

El lanzamiento de Claude confirma que el mercado no quedará reducido a ChatGPT y a los productos de Google. Las compañías con capacidad para entrenar modelos grandes están buscando fórmulas distintas para resolver el mismo problema: cómo ofrecer asistentes muy capaces sin abrir la puerta a errores graves o abusos fáciles de escalar.

Para los usuarios, la diferencia práctica se verá en la calidad de las respuestas, las restricciones que imponga cada servicio y la transparencia con la que explique sus fallos. Para las empresas, la cuestión será si Claude puede integrarse de forma fiable en productos reales y si su enfoque de seguridad ofrece garantías que otros modelos no proporcionen.

Anthropic aún tiene que demostrar ese punto fuera de su grupo inicial de clientes. Pero la llegada de Claude introduce una discusión necesaria en la carrera de los asistentes conversacionales: no basta con que un modelo responda bien; también importa bajo qué reglas decide responder y cómo reacciona cuando no debería hacerlo.

Un método de entrenamiento no es una garantía

La IA constitucional propone principios con los que el sistema critica y revisa respuestas, seguida de aprendizaje a partir de preferencias generadas por IA. El paper original describe el procedimiento y sus experimentos. Saber cómo se entrenó ayuda a formular pruebas; no permite concluir que toda salida futura será útil, honesta o inofensiva.

Esas tres metas pueden entrar en tensión. Rechazar demasiadas preguntas reduce daño pero también utilidad; responder con seguridad aparente puede parecer servicial y ser falso. Una evaluación debe contar respuestas correctas, daños no bloqueados, rechazos innecesarios y formas de eludir controles. Mostrar solo ejemplos seguros no ofrece denominador.

Los principios también necesitan procedencia. ¿Quién los eligió, cómo se resuelven conflictos y qué culturas o derechos representan? Una constitución visible facilita debate, pero el comportamiento final depende de datos, ajuste, sistema de producto y actualizaciones. La transparencia del texto no equivale a transparencia completa del modelo.

Cómo comparar afirmaciones de seguridad

Se prepara un conjunto común de tareas ordinarias, ambiguas y adversariales; se ejecuta varias veces en versiones identificadas; y se revisa sin saber qué modelo produjo cada salida. Después se separan gravedad y frecuencia. Un fallo raro que facilita daño grave no pesa igual que una respuesta demasiado cauta sobre un asunto inocuo.

El anuncio de Claude incluía testimonios de primeros clientes. Son evidencia de uso y percepción, no auditorías independientes. Sirven para descubrir casos que conviene reproducir, pero la decisión de adoptar requiere datos propios, contrato, privacidad y pruebas sobre el contexto real.

La capacidad transferible es transformar “más seguro” en una matriz con amenaza, prueba, tasa de fallo y coste del error. Abre el método original, comprueba qué midió y añade escenarios del uso previsto. La seguridad no es un adjetivo permanente: es una afirmación fechada que debe poder fallar en una prueba.

La evaluación necesita personas afectadas, no solo especialistas del laboratorio. Quien conoce un idioma, una discapacidad o un contexto cultural puede detectar daños que una prueba genérica no ve. Las observaciones se convierten en casos reproducibles y se informa qué cambio las resolvió.

También se distingue seguridad del modelo y seguridad del sistema. Un modelo puede rechazar una petición directa y ser burlado al recibir contenido desde una herramienta; o responder bien mientras la aplicación filtra datos. La adopción debe probar la cadena completa con los permisos y fuentes reales.

Los resultados deben publicarse con suficiente detalle para que otra persona entienda el denominador y las condiciones. “Falló menos” no basta sin número de casos, categoría y versión. Cuando el proveedor no comparte esa información, la conclusión honesta se limita a lo que la organización pudo probar por sí misma.

El informe debe distinguir además pruebas del laboratorio, pruebas del cliente y auditorías independientes. Sus niveles de acceso e incentivos son distintos; juntarlas bajo “evaluado” borra quién pudo observar qué.