OpenAI presenta GPT-4o: voz, visión y texto en tiempo real

El 13 de mayo de 2024, OpenAI presentó GPT-4o como un único modelo capaz de recibir y generar combinaciones de texto, imagen y audio. El anuncio de OpenAI publica latencias, precios y disponibilidad por modalidad, y aclara que el despliegue sería gradual; una demo de conversación fluida no establece todavía la tasa de error en cada lengua y entorno.

El anuncio importa por dos razones. Por un lado, OpenAI lleva buena parte de las capacidades hasta ahora asociadas a GPT-4 a la versión gratuita de ChatGPT. Por otro, plantea una interacción con asistentes de IA que no depende de escribir una pregunta, esperar una respuesta y volver a empezar: el modelo puede escuchar, mirar y responder durante el intercambio.

Un modelo que procesa audio de principio a fin

Hasta ahora, la conversación por voz en ChatGPT combinaba tres sistemas: uno transcribía el audio a texto, GPT procesaba ese texto y otro modelo convertía la respuesta en voz. Esa cadena funciona, pero pierde elementos importantes de una conversación, como el tono, las pausas, la emoción o una interrupción del interlocutor.

GPT-4o procesa audio directamente y puede devolver audio como respuesta. OpenAI asegura que tarda de media 320 milisegundos en contestar a una entrada de voz, con un mínimo de 232 milisegundos. Es un tiempo próximo al ritmo de respuesta humano en una charla cotidiana. Fuente primaria.

En la demostración de presentación, el modelo mantuvo una conversación hablada, detectó emociones en la voz, ayudó a resolver una ecuación escrita ante una cámara y actuó como intérprete entre inglés e italiano. También fue capaz de analizar una imagen o una pantalla compartida y comentar lo que veía.

Conviene distinguir la demostración de la disponibilidad inmediata. Las nuevas funciones avanzadas de audio llegarán primero en las próximas semanas a un grupo reducido de suscriptores de ChatGPT Plus. La experiencia de voz actual sigue siendo la que encontrará inicialmente la mayoría de usuarios.

GPT-4 para quienes usan ChatGPT gratis

La versión gratuita de ChatGPT empezará a recibir GPT-4o con límites de uso. Cuando se alcance ese límite, el servicio pasará a GPT-3.5. Los usuarios de Plus tendrán un límite de mensajes hasta cinco veces superior al de las cuentas gratuitas.

OpenAI también incorpora a la modalidad sin pago varias funciones que antes eran más restringidas: navegación web, análisis de datos, carga de archivos e imágenes, interpretación visual y uso de GPTs personalizados. La memoria, que permite a ChatGPT conservar ciertas preferencias del usuario entre conversaciones, también se extenderá gradualmente.

No significa que el producto gratuito pase a ser idéntico a Plus. La suscripción conserva límites más altos, acceso prioritario cuando hay mucha demanda y el estreno temprano de algunas funciones. Pero la distancia funcional entre ambas versiones se reduce de forma notable.

Más rápido y barato para desarrolladores

GPT-4o también estará disponible mediante la API, la interfaz con la que empresas y desarrolladores integran modelos de OpenAI en sus productos. En texto e imagen, la compañía afirma que iguala el rendimiento de GPT-4 Turbo, pero es dos veces más rápido y cuesta la mitad.

Su precio anunciado es de 5 dólares por millón de tokens de entrada y 15 dólares por millón de tokens de salida. Un token es una pequeña unidad de texto que el modelo utiliza para leer y generar lenguaje; no equivale exactamente a una palabra, pero sirve para medir el volumen procesado. Fuente primaria.

El modelo admite hasta 128.000 tokens de contexto, una capacidad útil para trabajar con documentos extensos, conversaciones largas o grandes cantidades de código. De momento, la API permite texto e imágenes; las capacidades de audio se añadirán más adelante para un grupo limitado de socios. Fuente primaria.

Una aplicación para el escritorio del Mac

Junto al modelo, OpenAI ha anunciado una aplicación de escritorio para macOS. La compañía la está desplegando desde hoy para usuarios de Plus y prevé extenderla a otros usuarios en las próximas semanas. La aplicación permite abrir ChatGPT con un atajo de teclado y trabajar junto a otras ventanas, sin depender de una pestaña del navegador.

OpenAI promete además una integración más directa con el contenido que se está viendo en pantalla. Esa idea resume la apuesta de GPT-4o: un asistente que no solo responde a un texto pegado en una caja de diálogo, sino que puede recibir el contexto visual y sonoro del trabajo del usuario.

El reto no será únicamente técnico. Cuanto más presente esté un asistente en cámaras, micrófonos, archivos y pantallas, más importantes serán los controles de privacidad, los permisos claros y las limitaciones contra usos abusivos. OpenAI ha restringido las voces de salida a voces predefinidas y ha entrenado el modelo para rechazar determinados contenidos de audio, pero la ampliación de estas funciones obligará a comprobar si esas salvaguardas funcionan fuera de una demostración.

Por ahora, GPT-4o acerca a ChatGPT a la interfaz que durante años ha prometido la ciencia ficción: hablar con un ordenador que escucha, ve y contesta. La diferencia es que esta vez llega primero a cientos de millones de usuarios potenciales, incluidos quienes no pagan una suscripción.

Una ruta única cambia el tipo de error

Los sistemas anteriores podían transcribir audio, pasar texto a otro modelo y sintetizar voz. Una arquitectura nativa conserva más ritmo, tono e información visual, pero también puede responder a señales que el usuario no sabía que enviaba. Evaluar multimodalidad exige registrar cada entrada, salida y permiso.

La latencia se mide extremo a extremo, con red, cola, reconocimiento y reproducción. Un promedio oculta pausas largas y la cifra mínima describe el mejor caso. Se informan percentiles, idioma, ruido, dispositivo y duración. Una conversación se siente natural cuando la variación también está controlada.

Voz convincente no es voz fiable

Se prueban interrupciones, acentos, cifras, nombres y cambios de hablante. Después se compara transcripción y significado. La expresividad puede aumentar confianza incluso cuando el contenido es incorrecto; por eso hechos y acciones sensibles necesitan confirmación visual o una fuente que pueda abrirse.

La visión se evalúa por tareas separadas: describir, leer texto, localizar y razonar sobre gráficos. “Puede ver” no garantiza precisión en letra pequeña. Exigir que señale la región relevante permite detectar si respondió desde la imagen o desde una expectativa.

La disponibilidad se anota por producto y modalidad. Texto, imagen y audio podían llegar en momentos y límites diferentes. Probar una demo no autoriza a prometer esa misma función por API o a todos los usuarios. Versión y canal acompañan cualquier resultado.

La capacidad transferible es auditar un sistema multimodal como una cadena de sensores, modelo, salida y acción, midiendo permiso, latencia y error en cada tramo. Esa ficha sigue siendo válida aunque la interfaz se vuelva más humana.

El control de turno es una capacidad medible

Una conversación real contiene silencios, interrupciones y ruido. Se mide si el sistema deja de hablar cuando el usuario entra, conserva la petición y evita responder a una voz de fondo. La baja latencia pierde valor si acelera una respuesta equivocada o impide corregirla.

La salida emocional exige límites. Una voz puede sonar empática sin comprender estado ni asumir responsabilidad clínica. La interfaz debe evitar presentarse como persona y ofrecer rutas humanas en situaciones sensibles. Naturalidad y legitimidad son ejes diferentes.

Los registros deben permitir revisar el contenido sin almacenar más audio del necesario. Se define retención, acceso y borrado, y se informa si la muestra se usa para mejorar el modelo. La modalidad añade datos biométricos y ambientales que un cuadro de texto no capta.

Finalmente, se ofrece un control visible para apagar cámara o micrófono y una indicación inequívoca de cuándo captan. La comodidad conversacional no debe depender de que el usuario adivine el estado del sensor.