Anthropic presenta Claude, un rival de GPT-4 diseñado para ser más seguro

Anthropic ha presentado este martes Claude, su primer asistente conversacional de gran alcance. La compañía, fundada por antiguos empleados de OpenAI, quiere competir en el mercado de los modelos de lenguaje con una diferencia central: el sistema ha sido entrenado para ser útil, honesto e inofensivo mediante una técnica propia llamada IA constitucional.

El anuncio llega el mismo día en que OpenAI ha lanzado GPT-4. La coincidencia sitúa a Anthropic como una de las alternativas más relevantes a la empresa que popularizó ChatGPT, aunque Claude comienza su despliegue de forma más limitada: la compañía lo está ofreciendo inicialmente a un grupo reducido de empresas a través de una interfaz de chat y una API para desarrolladores.

Un asistente que aprende de una «constitución»

Claude pertenece a la familia de los grandes modelos de lenguaje: sistemas entrenados con enormes cantidades de texto para predecir y generar palabras, responder preguntas, resumir documentos o redactar textos. Pero el resultado de ese entrenamiento depende tanto de los datos como de las reglas y correcciones que recibe después.

La propuesta de Anthropic es incorporar esas reglas de manera más explícita. La IA constitucional parte de un conjunto de principios que el modelo debe utilizar para revisar sus propias respuestas. Cuando recibe una instrucción problemática, el sistema genera una crítica de su primera contestación y trata de reformularla de acuerdo con esos principios.

Es una alternativa a la supervisión humana tradicional. En los modelos actuales es habitual contratar a personas para que comparen respuestas y señalen cuáles son más útiles o más seguras. Ese proceso se conoce como aprendizaje por refuerzo con retroalimentación humana. Anthropic combina esa supervisión con comentarios generados por otra IA, un método que denomina aprendizaje por refuerzo a partir de retroalimentación de IA.

La idea no elimina la intervención humana ni convierte al sistema en infalible. Lo que hace es intentar que las normas aplicadas al modelo sean más consistentes y que resulte posible revisar de dónde proceden. En un chatbot abierto al público, la dificultad es evidente: debe negarse a facilitar contenido dañino sin responder con evasivas a peticiones perfectamente legítimas.

Seguridad como producto y como estrategia

Anthropic fue fundada en 2021 por un grupo de investigadores y directivos que habían trabajado en OpenAI, entre ellos Dario Amodei y Daniela Amodei. Desde el principio, la empresa ha situado la seguridad de los sistemas avanzados en el centro de su investigación, una posición que ahora traslada a un producto comercial.

No se trata solo de una cuestión técnica. Los chatbots capaces de escribir con fluidez ya se utilizan para atención al cliente, búsqueda de información, redacción y asistencia a programadores. También pueden inventar datos, reproducir prejuicios presentes en sus materiales de entrenamiento o seguir instrucciones inapropiadas si sus salvaguardas fallan.

Claude se presenta, por tanto, en un momento en que las empresas tecnológicas compiten por capacidades, pero también por confianza. Google anunció en febrero una inversión de 300 millones de dólares en Anthropic, mientras acelera sus propios proyectos de IA generativa. Microsoft, por su parte, ha reforzado su alianza con OpenAI e integrado tecnología de esta empresa en Bing.

La seguridad puede convertirse en una ventaja comercial si los clientes corporativos prefieren modelos con respuestas más predecibles. Pero también obliga a comprobar si esas barreras resisten conversaciones largas, instrucciones ambiguas y usos inesperados. Una demostración controlada no basta para medir el comportamiento de un asistente cuando miles o millones de personas empiezan a probar sus límites.

La carrera ya no es solo por el modelo más potente

El lanzamiento de Claude confirma que el mercado no quedará reducido a ChatGPT y a los productos de Google. Las compañías con capacidad para entrenar modelos grandes están buscando fórmulas distintas para resolver el mismo problema: cómo ofrecer asistentes muy capaces sin abrir la puerta a errores graves o abusos fáciles de escalar.

Para los usuarios, la diferencia práctica se verá en la calidad de las respuestas, las restricciones que imponga cada servicio y la transparencia con la que explique sus fallos. Para las empresas, la cuestión será si Claude puede integrarse de forma fiable en productos reales y si su enfoque de seguridad ofrece garantías que otros modelos no proporcionen.

Anthropic aún tiene que demostrar ese punto fuera de su grupo inicial de clientes. Pero la llegada de Claude introduce una discusión necesaria en la carrera de los asistentes conversacionales: no basta con que un modelo responda bien; también importa bajo qué reglas decide responder y cómo reacciona cuando no debería hacerlo.