OpenAI lleva la voz en tiempo real a su API para desarrolladores

El 1 de octubre de 2024, OpenAI presentó la Realtime API en beta pública para construir conversaciones de voz a voz con baja latencia. El anuncio original describe modalidades, precios y límites de esa fecha; una interfaz natural debe evaluarse como una cadena de audio, modelo, herramientas y escalado humano, no por lo convincente que suene.

La compañía también ha anunciado caché automática de prompts, un sistema de destilación para trasladar tareas de modelos grandes a otros más pequeños y económicos, y ajuste fino con imágenes para GPT-4o. El conjunto apunta a un problema muy concreto: hacer que las aplicaciones basadas en IA sean más rápidas, más baratas y más especializadas.

Una conversación de voz sin encadenar servicios

Hasta ahora, crear un asistente de voz con modelos de lenguaje solía exigir unir tres piezas: reconocimiento de voz para transcribir al usuario, un modelo de texto para elaborar la respuesta y un sintetizador para convertirla de nuevo en audio. Ese recorrido añade demora y puede perder elementos de la conversación, como una pausa, una interrupción o la entonación.

La Realtime API permite trabajar directamente con audio de entrada y salida mediante GPT-4o, el modelo multimodal de OpenAI. Es decir, el sistema procesa la voz como voz, en lugar de obligar a que cada intercambio pase primero por una transcripción textual completa.

La API está disponible en beta pública y admite conexiones mediante WebRTC —un protocolo habitual para comunicaciones en directo en navegadores y móviles— y WebSocket. La primera opción está orientada a aplicaciones de cliente, mientras que la segunda encaja mejor en conexiones desde servidores.

OpenAI ha fijado el precio del audio en 100 dólares por millón de tokens de entrada y 200 dólares por millón de tokens de salida. Los tokens son las unidades en las que el modelo descompone la información que recibe y genera; en audio no equivalen directamente a palabras. También se puede enviar texto al modelo por 5 dólares por millón de tokens de entrada y recibirlo por 20 dólares por millón. Fuente

La promesa es especialmente relevante para atención al cliente, tutores conversacionales, herramientas de accesibilidad o asistentes internos. Pero la voz natural no resuelve por sí sola la parte difícil de esos productos: integrar datos fiables, definir cuándo debe pasar una conversación a una persona y evitar que el asistente improvise información en contextos sensibles.

La caché reduce el coste de repetir instrucciones

La segunda novedad responde a una ineficiencia frecuente en los productos con modelos de lenguaje. Muchas peticiones repiten una misma instrucción larga: las reglas del asistente, documentación de la empresa, ejemplos de estilo o el historial de una conversación.

Con el prompt caching, OpenAI guarda temporalmente los prefijos repetidos de esos mensajes y aplica de forma automática un descuento del 50% a los tokens de entrada que puede reutilizar. La empresa afirma que el mecanismo puede reducir la latencia hasta en un 80% en las solicitudes con contenido almacenado en caché. Fuente

La función se activa para prompts de al menos 1.024 tokens y está disponible en los modelos GPT-4o, GPT-4o mini, o1-preview y o1-mini. No requiere que el desarrollador cambie el formato de sus llamadas a la API. Fuente

No es una rebaja menor para quienes construyen asistentes sobre documentos extensos o instrucciones complejas. En este tipo de aplicaciones, el coste no depende solo de la respuesta del modelo: volver a enviar el mismo contexto en cada turno puede ser una parte importante de la factura. La caché incentiva además un diseño más ordenado de los prompts, con las instrucciones estables al principio y la información variable al final.

Destilar para no pagar siempre el modelo más potente

OpenAI ha presentado asimismo una herramienta de destilación de modelos. La idea consiste en usar un modelo grande y más capaz para generar respuestas de referencia, revisar esos resultados y emplearlos después para ajustar un modelo más pequeño que realice una tarea concreta.

La compañía integra ese flujo en su plataforma: los desarrolladores pueden almacenar resultados de modelos como GPT-4o y utilizarlos como datos de entrenamiento para ajustar GPT-4o mini. El objetivo no es que el modelo pequeño sustituya al grande en todo, sino que resuelva con menor coste las tareas repetitivas y bien delimitadas de una aplicación.

Es una estrategia conocida en investigación y en la industria, pero su incorporación al panel de OpenAI reduce el trabajo de montar un proceso propio de recopilación, evaluación y entrenamiento. Aun así, la utilidad del método depende de la calidad de los ejemplos: un modelo pequeño entrenado con respuestas erróneas o sesgadas reproducirá esos fallos con mayor consistencia y a menor precio.

GPT-4o ya puede ajustarse con imágenes

La última pieza es el ajuste fino con visión para GPT-4o, también en beta. El ajuste fino permite adaptar un modelo generalista con ejemplos propios para que responda mejor a una tarea, un formato o un dominio determinado. En esta ocasión, esos ejemplos pueden incluir imágenes además de texto.

Una empresa podría usarlo, por ejemplo, para enseñar al modelo a clasificar imágenes de catálogo con sus categorías internas, extraer campos de documentos visuales o seguir un criterio específico de inspección. No convierte al modelo en una prueba de exactitud: sigue siendo necesario medir sus resultados sobre casos separados de los usados en el entrenamiento, sobre todo cuando una clasificación tenga consecuencias operativas.

Las novedades muestran dónde está la competencia inmediata de OpenAI. El modelo sigue siendo importante, pero para los desarrolladores pesan cada vez más la velocidad, el precio, la facilidad de integración y la capacidad de adaptar el sistema a un caso real. Con la Realtime API, la compañía busca que GPT-4o no sea solo el motor de un chat, sino una infraestructura para interfaces de voz y aplicaciones especializadas.

Una voz en tiempo real es una cadena operativa

La prueba conserva audio de entrada, transcripción cuando exista, respuesta, llamada a herramientas y audio final. Se añaden ruido, interrupciones, acentos, nombres propios y silencios; se mide latencia extremo a extremo y si el usuario puede corregir antes de una acción. La naturalidad no aporta exactitud.

El anuncio separado de Prompt Caching explica descuentos y condiciones de esa función. Para verificar ahorro se registran tokens almacenados, aciertos de caché, tiempo y coste por sesión. Reordenar instrucciones puede mejorar la caché y cambiar el comportamiento; ambas cosas deben probarse.

La destilación y el ajuste fino necesitan un conjunto de prueba aislado. Si el modelo grande genera ejemplos erróneos, el pequeño aprende a repetirlos. Se revisa una muestra, se conservan casos difíciles y se compara con la versión sin ajustar. La capacidad transferible es medir voz, caché y adaptación como componentes separados y calcular el coste por conversación resuelta, no por demostración fluida.

El error de una herramienta cambia el riesgo

Una respuesta hablada incorrecta puede corregirse; una llamada que envía un mensaje, compra o modifica un registro ya altera el mundo. Antes de ejecutar, la interfaz debe mostrar acción, argumentos y destino, pedir confirmación cuando el daño sea difícil de revertir y conservar un registro comprensible.

La prueba añade interrupciones justo antes de confirmar, nombres parecidos y cambios de intención. Se observa si el sistema cancela la orden anterior o mezcla contexto. Medir solo la rapidez hasta la primera sílaba premia una experiencia fluida y deja invisible la latencia necesaria para actuar con seguridad.

El protocolo acaba con recuperación ante fallos: desconexión, audio incompleto y herramienta indisponible. El sistema debe informar del estado y evitar repetir una acción al reconectar. Una experiencia rápida que duplica operaciones no es tiempo real útil.