OpenAI lleva la voz en tiempo real a su API para desarrolladores

OpenAI ha aprovechado su DevDay, celebrado este martes en Londres, para reforzar la capa menos visible de su negocio: las herramientas con las que otras empresas convierten sus modelos en productos. La principal novedad es la Realtime API, una interfaz que permite construir aplicaciones de voz capaces de escuchar y responder con baja latencia.

La compañía también ha anunciado caché automática de prompts, un sistema de destilación para trasladar tareas de modelos grandes a otros más pequeños y económicos, y ajuste fino con imágenes para GPT-4o. El conjunto apunta a un problema muy concreto: hacer que las aplicaciones basadas en IA sean más rápidas, más baratas y más especializadas.

Una conversación de voz sin encadenar servicios

Hasta ahora, crear un asistente de voz con modelos de lenguaje solía exigir unir tres piezas: reconocimiento de voz para transcribir al usuario, un modelo de texto para elaborar la respuesta y un sintetizador para convertirla de nuevo en audio. Ese recorrido añade demora y puede perder elementos de la conversación, como una pausa, una interrupción o la entonación.

La Realtime API permite trabajar directamente con audio de entrada y salida mediante GPT-4o, el modelo multimodal de OpenAI. Es decir, el sistema procesa la voz como voz, en lugar de obligar a que cada intercambio pase primero por una transcripción textual completa.

La API está disponible en beta pública y admite conexiones mediante WebRTC —un protocolo habitual para comunicaciones en directo en navegadores y móviles— y WebSocket. La primera opción está orientada a aplicaciones de cliente, mientras que la segunda encaja mejor en conexiones desde servidores.

OpenAI ha fijado el precio del audio en 100 dólares por millón de tokens de entrada y 200 dólares por millón de tokens de salida. Los tokens son las unidades en las que el modelo descompone la información que recibe y genera; en audio no equivalen directamente a palabras. También se puede enviar texto al modelo por 5 dólares por millón de tokens de entrada y recibirlo por 20 dólares por millón.

La promesa es especialmente relevante para atención al cliente, tutores conversacionales, herramientas de accesibilidad o asistentes internos. Pero la voz natural no resuelve por sí sola la parte difícil de esos productos: integrar datos fiables, definir cuándo debe pasar una conversación a una persona y evitar que el asistente improvise información en contextos sensibles.

La caché reduce el coste de repetir instrucciones

La segunda novedad responde a una ineficiencia frecuente en los productos con modelos de lenguaje. Muchas peticiones repiten una misma instrucción larga: las reglas del asistente, documentación de la empresa, ejemplos de estilo o el historial de una conversación.

Con el prompt caching, OpenAI guarda temporalmente los prefijos repetidos de esos mensajes y aplica de forma automática un descuento del 50% a los tokens de entrada que puede reutilizar. La empresa afirma que el mecanismo puede reducir la latencia hasta en un 80% en las solicitudes con contenido almacenado en caché.

La función se activa para prompts de al menos 1.024 tokens y está disponible en los modelos GPT-4o, GPT-4o mini, o1-preview y o1-mini. No requiere que el desarrollador cambie el formato de sus llamadas a la API.

No es una rebaja menor para quienes construyen asistentes sobre documentos extensos o instrucciones complejas. En este tipo de aplicaciones, el coste no depende solo de la respuesta del modelo: volver a enviar el mismo contexto en cada turno puede ser una parte importante de la factura. La caché incentiva además un diseño más ordenado de los prompts, con las instrucciones estables al principio y la información variable al final.

Destilar para no pagar siempre el modelo más potente

OpenAI ha presentado asimismo una herramienta de destilación de modelos. La idea consiste en usar un modelo grande y más capaz para generar respuestas de referencia, revisar esos resultados y emplearlos después para ajustar un modelo más pequeño que realice una tarea concreta.

La compañía integra ese flujo en su plataforma: los desarrolladores pueden almacenar resultados de modelos como GPT-4o y utilizarlos como datos de entrenamiento para ajustar GPT-4o mini. El objetivo no es que el modelo pequeño sustituya al grande en todo, sino que resuelva con menor coste las tareas repetitivas y bien delimitadas de una aplicación.

Es una estrategia conocida en investigación y en la industria, pero su incorporación al panel de OpenAI reduce el trabajo de montar un proceso propio de recopilación, evaluación y entrenamiento. Aun así, la utilidad del método depende de la calidad de los ejemplos: un modelo pequeño entrenado con respuestas erróneas o sesgadas reproducirá esos fallos con mayor consistencia y a menor precio.

GPT-4o ya puede ajustarse con imágenes

La última pieza es el ajuste fino con visión para GPT-4o, también en beta. El ajuste fino permite adaptar un modelo generalista con ejemplos propios para que responda mejor a una tarea, un formato o un dominio determinado. En esta ocasión, esos ejemplos pueden incluir imágenes además de texto.

Una empresa podría usarlo, por ejemplo, para enseñar al modelo a clasificar imágenes de catálogo con sus categorías internas, extraer campos de documentos visuales o seguir un criterio específico de inspección. No convierte al modelo en una prueba de exactitud: sigue siendo necesario medir sus resultados sobre casos separados de los usados en el entrenamiento, sobre todo cuando una clasificación tenga consecuencias operativas.

Las novedades muestran dónde está la competencia inmediata de OpenAI. El modelo sigue siendo importante, pero para los desarrolladores pesan cada vez más la velocidad, el precio, la facilidad de integración y la capacidad de adaptar el sistema a un caso real. Con la Realtime API, la compañía busca que GPT-4o no sea solo el motor de un chat, sino una infraestructura para interfaces de voz y aplicaciones especializadas.