OpenAI presenta GPT-4 Turbo, los GPTs y la Assistants API

El 6 de noviembre de 2023, en su primer DevDay, OpenAI lanzó GPT-4 Turbo con 128.000 tokens de contexto y precios más bajos, además de los GPTs personalizables sin código, una futura GPT Store y la Assistants API para construir agentes. Fuente del anuncio.

OpenAI celebró hoy en San Francisco su primer DevDay, una conferencia para desarrolladores en la que Sam Altman presentó el mayor paquete de novedades de la compañía desde el lanzamiento de GPT-4 en marzo. El anuncio central es GPT-4 Turbo, una versión del modelo insignia que amplía drásticamente su capacidad y abarata su uso, junto con dos piezas pensadas para que cualquiera construya aplicaciones sobre él: los GPTs y la Assistants API.

GPT-4 Turbo: más contexto, más barato

GPT-4 Turbo maneja una ventana de contexto de 128.000 tokens, el equivalente a más de 300 páginas de texto en una sola conversación. Hasta ahora, la versión estándar de GPT-4 se limitaba a 8.000 tokens, con una variante extendida de 32.000 tokens reservada a pocos clientes. Fuente del anuncio.

El modelo también actualiza su conocimiento del mundo hasta abril de 2023, frente al límite de septiembre de 2021 que arrastraban las versiones anteriores.

El otro cambio relevante es el precio. Según anunció OpenAI, GPT-4 Turbo cuesta 0,01 dólares por cada 1.000 tokens de entrada y 0,03 dólares por cada 1.000 de salida, frente a los 0,03 y 0,06 dólares respectivamente de GPT-4 estándar: tres veces más barato en las peticiones de entrada y la mitad en las de salida. Para empresas que procesan grandes volúmenes de texto, la diferencia es sustancial. Fuente del anuncio.

GPT-4 Turbo llega en fase de vista previa a través de la API bajo el nombre gpt-4-1106-preview, e incorpora funciones pensadas para desarrolladores: un modo JSON que fuerza respuestas en ese formato, la posibilidad de fijar una semilla (seed) para obtener resultados más reproducibles y llamadas a múltiples funciones en una sola petición.

Además, OpenAI unifica en un mismo modelo capacidades que antes vivían separadas: visión (la capacidad de GPT-4 de interpretar imágenes), generación de imágenes con DALL-E 3 y conversión de texto a voz, todo accesible desde la misma API.

Los GPTs: chatbots a medida sin escribir código

La segunda gran novedad son los GPTs, versiones personalizadas de ChatGPT que cualquier usuario puede crear sin programar. Basta con darle instrucciones en lenguaje natural, subirle documentos que sirvan de conocimiento adicional y, si se necesita, conectarle acciones que llamen a servicios externos. El resultado es un asistente especializado —para redactar informes de un estilo concreto, resolver dudas sobre un manual interno o ayudar con una tarea muy específica— que se comporta como una app dentro de ChatGPT.

Los GPTs ya están disponibles para los usuarios de ChatGPT Plus y para clientes de ChatGPT Enterprise. OpenAI anunció también que a lo largo de este mes lanzará una GPT Store, una tienda donde los creadores podrán publicar sus GPTs y, según la propia compañía, recibir una parte de los ingresos en función del uso que generen.

Assistants API: agentes con memoria y herramientas propias

Para quienes construyen aplicaciones más complejas, OpenAI presentó la Assistants API, pensada específicamente para crear asistentes de tipo agente: programas capaces de mantener conversaciones con memoria persistente (a través de "hilos" que conservan el historial), ejecutar código con un intérprete integrado, consultar documentos propios mediante recuperación de información y llamar a funciones externas, todo gestionado por OpenAI en el backend para que el desarrollador no tenga que montar esa infraestructura desde cero.

Otras medidas para desarrolladores y empresas

OpenAI aprovechó el evento para anunciar un programa de Custom Models, mediante el cual sus investigadores trabajan directamente con empresas para entrenar versiones a medida de sus modelos con datos propios. También presentó el Copyright Shield, un compromiso por el que OpenAI asumirá los costes legales de sus clientes empresariales y de la API si son demandados por infracción de derechos de autor derivada del uso de sus herramientas. Además, la compañía anunció que duplicará los límites de tokens por minuto para los clientes existentes de GPT-4.

Qué cambia para desarrolladores y empresas

El mensaje del DevDay es claro: OpenAI quiere que construir sobre sus modelos sea más barato, más simple y menos dependiente de infraestructura propia. La rebaja de precios y la ventana de contexto ampliada abren la puerta a aplicaciones que antes eran inviables económicamente, como analizar documentos largos completos en una sola llamada. Los GPTs, por su parte, trasladan la personalización de IA a usuarios sin conocimientos técnicos, mientras que la Assistants API apunta a los desarrolladores que quieren construir agentes sin reinventar la gestión de memoria y herramientas cada vez. Queda por ver cómo responde el mercado a la futura GPT Store y qué papel jugará frente a competidores que ya ofrecen sus propios ecosistemas de plugins y asistentes.

Una ventana grande no es una memoria perfecta

Que un modelo acepte 128.000 tokens describe el máximo de entrada, no garantiza que use cada detalle con la misma fiabilidad. Un documento puede caber y, aun así, una condición situada en medio pasar desapercibida. Para probar contexto largo hay que repartir datos relevantes entre principio, centro y final, formular preguntas cuya respuesta exija combinar pasajes y comprobar las citas, no limitarse a cargar un archivo y celebrar que no hubo error de tamaño. Fuente del dato.

El anuncio técnico de DevDay distingue además modelo, herramientas y estado de conversación. El modelo genera; Retrieval busca material; Code Interpreter ejecuta código; function calling solicita una función definida por el desarrollador; los threads conservan mensajes. Llamar “agente” al conjunto puede ser cómodo, pero oculta dónde se produjo un fallo.

Si una respuesta usa un dato equivocado, hay que preguntar si el fragmento entró en el contexto, si la recuperación eligió el documento correcto o si el modelo interpretó mal lo que recibió. Si una acción falla, se inspeccionan los argumentos de la función y la respuesta del sistema externo. Esa separación convierte una impresión vaga en un diagnóstico reproducible.

Precio por token no es coste por tarea

Una tarifa menor puede abaratar cada llamada y encarecer el flujo completo si el modelo necesita reintentos, produce salidas más largas o arrastra un contexto creciente. El cálculo útil suma entrada, salida, herramientas, almacenamiento, búsquedas y repeticiones para una tarea terminada con calidad definida. También mide latencia y tasa de corrección humana.

La semilla anunciada busca hacer resultados más consistentes, pero OpenAI la presentó como una función beta y habló de reproducibilidad “la mayor parte del tiempo”. Para una prueba seria se guardan modelo exacto, parámetros, prompt, respuestas de herramientas y fecha. Una seed aislada no congela un servicio remoto que puede cambiar.

La capacidad transferible es descomponer una aplicación de IA en contexto, recuperación, generación, herramientas y estado. Evalúa cada pieza con una prueba propia y calcula el coste por resultado aceptado. Así, un anuncio con muchas funciones deja de ser una lista de nombres y se convierte en una arquitectura que puede auditarse.

Hay una comprobación adicional para las herramientas: provocar un fallo controlado. Una función de prueba devuelve un error, una búsqueda no encuentra nada y un archivo contiene instrucciones hostiles. La aplicación debería mostrar el límite sin inventar un éxito, evitar que el documento suplante las reglas del desarrollador y conservar suficiente registro para repetir el incidente. La capacidad de fallar de forma legible es parte del producto.

La ficha de evaluación debe viajar con el resultado. Sin ella, una respuesta excelente no dice si fue el primer intento, si usó una herramienta externa o si consumió un contexto extraordinario. Con ella, el equipo puede comparar versiones sin mover la portería.