Anthropic lanza Claude 3: Opus supera a GPT-4 en varios tests

Anthropic ha presentado este lunes Claude 3, una nueva familia de modelos de lenguaje formada por Opus, Sonnet y Haiku. La empresa sostiene que Opus, su versión más potente, supera a GPT-4 y a Gemini Ultra en varios exámenes de razonamiento, conocimiento y programación.

El anuncio importa porque devuelve a Anthropic a la primera línea de la carrera por los grandes modelos generativos. OpenAI había marcado la referencia comercial con GPT-4 durante el último año; ahora Anthropic propone una alternativa con capacidades comparables, lectura de imágenes y una oferta escalonada para distintos costes y velocidades.

Tres modelos para tareas y presupuestos distintos

Claude 3 no es un único modelo. Anthropic ha dividido la gama en tres niveles:

• Claude 3 Opus es el modelo orientado a tareas complejas: análisis, investigación, programación y trabajos que requieren mantener muchos datos en contexto.
• Claude 3 Sonnet busca un equilibrio entre capacidad, coste y rapidez. Desde hoy es el modelo que impulsa la versión gratuita de Claude.ai.
• Claude 3 Haiku está diseñado para respuestas muy rápidas y baratas, útiles para atención al cliente, clasificación de documentos o extracción de información a gran escala. Anthropic prevé ponerlo a disposición próximamente.

Los tres admiten hasta 200.000 tokens de contexto, una medida de la cantidad de texto que pueden procesar en una conversación o documento. En términos prácticos, permite trabajar con cientos de páginas, aunque el límite no garantiza por sí mismo que el modelo encuentre siempre el detalle relevante ni que razone correctamente sobre él.

Opus y Sonnet ya están disponibles mediante la web Claude.ai y la API de Anthropic. Opus requiere la suscripción Claude Pro, que cuesta 20 dólares al mes en Estados Unidos. Para desarrolladores, Anthropic fija el precio de Opus en 15 dólares por cada millón de tokens de entrada y 75 dólares por cada millón de tokens generados; Sonnet cuesta 3 y 15 dólares, respectivamente. Haiku rebajará esa tarifa a 0,25 y 1,25 dólares.

Visión: Claude ya puede interpretar imágenes y documentos

La novedad funcional más clara es que Claude 3 se convierte en multimodal: puede analizar tanto texto como imágenes. El sistema puede interpretar fotografías, gráficos, diagramas y documentos escaneados, incluidas páginas con tablas o elementos visuales.

Esta capacidad acerca a Claude a GPT-4 con visión y a Gemini. No se trata simplemente de describir una imagen: el objetivo es poder preguntar por un gráfico financiero, revisar un formulario escaneado o extraer información de una diapositiva. Para empresas que manejan documentación poco estructurada, ese salto puede ser más relevante que una mejora marginal en un test académico.

Anthropic también afirma que Claude 3 responde con menos rechazos innecesarios que sus modelos anteriores. Es una cuestión relevante en asistentes empresariales: un sistema demasiado prudente puede negarse a ayudar con peticiones legítimas, mientras que uno demasiado permisivo puede dar instrucciones indebidas o inventar información. Encontrar ese equilibrio sigue siendo uno de los problemas centrales del sector.

Los benchmarks sitúan a Opus por delante, con matices

En sus evaluaciones, Anthropic sitúa a Claude 3 Opus por encima de GPT-4 y Gemini Ultra en pruebas como MMLU, que mide conocimientos en decenas de materias; GPQA, centrada en preguntas científicas de nivel avanzado; GSM8K, de problemas matemáticos escolares; y HumanEval, de programación.

La compañía comunica, por ejemplo, un 86,8% en MMLU y un 84,9% en HumanEval para Opus. Son resultados destacados, pero conviene leerlos como una señal y no como un veredicto definitivo. Los benchmarks miden conjuntos cerrados de preguntas y pueden favorecer determinadas técnicas de entrenamiento. Además, un modelo que obtiene una nota alta en un examen puede seguir equivocándose al resumir un contrato, interpretar una instrucción ambigua o citar una fuente inexistente.

La comparación con GPT-4 tampoco es del todo estática. Los modelos comerciales cambian mediante actualizaciones, configuraciones de producto y herramientas externas. Para un usuario o una empresa, la diferencia relevante no será solo cuál gana una tabla de resultados, sino cuál ofrece mejor fiabilidad, latencia, precio, privacidad e integración con sus flujos de trabajo.

Una competición que ya no depende solo del modelo más grande

Con Claude 3, Anthropic adopta una estrategia similar a la de otros proveedores: reservar la máxima capacidad para tareas de alto valor y ofrecer modelos más ligeros para operaciones masivas. Esa segmentación importa porque ejecutar modelos grandes es caro. Una empresa no necesita Opus para etiquetar miles de correos, pero sí puede necesitarlo para revisar documentación técnica compleja o asistir a un analista.

Anthropic ha desplegado Opus bajo su estándar de seguridad AI Safety Level 2, un marco interno con controles para modelos que aún no presentan, según su evaluación, riesgos cualitativamente nuevos de alto impacto. La empresa mantiene que no ha detectado señales de que Claude 3 pueda ayudar de forma sustancial a actores sin formación a desarrollar armas químicas, biológicas, radiológicas o nucleares.

El lanzamiento eleva la presión sobre OpenAI, Google y el resto de laboratorios. La comparación real empezará ahora: cuando Claude 3 se enfrente a documentos imperfectos, instrucciones largas y usuarios que no formulan su petición como una pregunta de examen.