OpenAI mejora GPT-4 Turbo y abarata su API con nuevos embeddings

OpenAI ha actualizado GPT-4 Turbo y ha puesto en marcha dos nuevos modelos de embeddings, una tecnología esencial para que los asistentes y buscadores de IA encuentren información relevante en documentos propios. La compañía también ha rebajado el precio de GPT-3.5 Turbo y ha renovado su modelo de moderación de texto.

El anuncio, realizado este jueves, no introduce un chatbot nuevo para el público general. Su impacto está sobre todo en las empresas y desarrolladores que utilizan la API de OpenAI para crear buscadores internos, asistentes de atención al cliente, herramientas de análisis documental o productos basados en generación de texto.

GPT-4 Turbo intenta corregir el problema de la "pereza"

La nueva versión previa del modelo se llama gpt-4-0125-preview. OpenAI afirma que mejora la capacidad de GPT-4 Turbo para completar tareas complejas y sigue instrucciones con mayor fiabilidad.

El cambio responde a una queja recurrente entre quienes usan los modelos más avanzados: en algunas peticiones largas, GPT-4 Turbo tendía a resumir en exceso, entregar fragmentos de código en lugar de la solución completa o pedir al usuario que continuase por su cuenta. OpenAI ha reconocido ese comportamiento como una prioridad de mejora en esta actualización.

GPT-4 Turbo conserva una ventana de contexto de 128.000 tokens. Un token es una unidad de texto que los modelos usan para procesar lenguaje; como referencia aproximada, equivale a una parte de una palabra. Esa capacidad permite trabajar con libros, contratos extensos o grandes repositorios de documentación dentro de una sola conversación, aunque el coste y la calidad final dependen de cómo se prepare la información.

La versión actualizada sigue siendo una preview, es decir, una versión destinada a pruebas antes de convertirse en un modelo estable. Las empresas que necesiten resultados consistentes en producción deben tener en cuenta que OpenAI puede cambiar estas versiones y que conviene evaluar sus aplicaciones antes de sustituir un modelo anterior.

Dos modelos para convertir texto en significado matemático

La novedad más relevante para muchas aplicaciones no está en la generación de texto, sino en los nuevos modelos text-embedding-3-small y text-embedding-3-large.

Los embeddings convierten textos en listas de números que representan su significado. Gracias a ello, un sistema puede detectar que una pregunta sobre vacaciones está relacionada con una política interna de permisos aunque no emplee exactamente las mismas palabras. Son la base habitual de la búsqueda semántica y de los sistemas de generación aumentada por recuperación, conocidos como RAG: aplicaciones que recuperan documentos antes de pedir al modelo que redacte una respuesta.

Según los resultados publicados por OpenAI en la prueba MTEB, una referencia común para medir recuperación de información, text-embedding-3-small alcanza 62,3 puntos frente a los 61 puntos de text-embedding-ada-002, el modelo comparable de la gama económica. El nuevo modelo pequeño cuesta 0,02 dólares por millón de tokens, cinco veces menos que su predecesor.

El modelo grande eleva la puntuación a 64,6 en esa misma prueba y cuesta 0,13 dólares por millón de tokens. Está pensado para casos donde encontrar el documento adecuado tiene un valor alto: bases de conocimiento grandes, buscadores jurídicos o plataformas con catálogos extensos.

OpenAI también permite reducir el tamaño de los vectores generados por estos modelos. Es una opción relevante porque los vectores más cortos ocupan menos espacio y abaratan las bases de datos especializadas que se usan para buscarlos. La contrapartida es que comprimirlos demasiado puede reducir la precisión de las coincidencias.

Menor factura para GPT-3.5 Turbo y nueva moderación

La compañía ha rebajado el precio de GPT-3.5 Turbo. El procesamiento de texto de entrada pasa a costar 0,50 dólares por millón de tokens, un 50% menos, y la salida baja a 1,50 dólares por millón, un recorte del 25%.

GPT-3.5 Turbo no compite en capacidad con GPT-4, pero continúa siendo una opción importante para tareas frecuentes y menos exigentes, como clasificar mensajes, extraer campos de documentos, redactar borradores sencillos o responder a consultas muy estructuradas. En esos usos, el coste por millón de tokens procesados puede pesar más que lograr la respuesta más sofisticada.

OpenAI ha lanzado además text-moderation-007, un nuevo modelo gratuito en su API de moderación. Su función es identificar texto potencialmente dañino o contrario a las políticas de una plataforma. La moderación automática no elimina la necesidad de revisión humana en contextos delicados, pero permite filtrar grandes volúmenes de contenido antes de que lleguen a usuarios o equipos de soporte.

El anuncio combina una actualización de GPT-4 Turbo con cambios de precio y nuevas herramientas para desarrolladores. Para quienes usen búsqueda semántica, los nuevos embeddings ofrecen precios inferiores a los de text-embedding-ada-002, aunque el ahorro efectivo dependerá de la migración, el volumen procesado y la configuración de la infraestructura.